E' nella parte più alta di Vieste: di qui si domina su tutto il paese e sull'immensità del mare, mentre verso l'entroterra si gode il superbo spettacolo delle colline e delle valli che si rincorrono con fantasioso ritmo.
Per la sua posizione molto avanzata nel mare, Vieste fu sempre ritenuta un importante crocevia della navigazione e uno dei maggiori capisaldi di strategia e di difesa del Gargano e venne dotato di un Castello, come fortezza di prima classe.
Le origini del Castello si perdono nel buio dei secoli. E' da ipotizzare che durante il periodo romano, in questa parte alta della città, vi sia stato una torre di vedetta, forse dotato anche di faro. Forse un primo Castello di difesa, anche se di dimensioni ridotte all'attuale, fu costruito negli ultimi due secoli del I Millennio quando cioè i Saraceni spadroneggiavano in lungo e in largo sulle coste pugliesi, oppure durante il predominio di consolidamento della denominazione quando si adottò la politica di popolamento degli insediamenti umani per fini prettamente militari.
Una conferma sulla esistenza del Castello è riportata nell'atto del Concilio di Melfi del 1059 da Riccardo, principe di Capua e fratello di Roberto Drengot, signore di Vieste.
Se si considera che la presenza dei Normanni viene attestata fin dal 1054, non è da escludere che un ampliamento del Castello possa essere avvenuta proprio durante la signoria o contea di Roberto Drengot.
Questo nuovo dominatore senz'altro dovette considerare la posizione strategica di Vieste, nei cui paraggi si annidavano anche bande saracene, e dovette provvedere a darle maggiori e più solide strutture difensive. Probabilmente fu allora che il Castello acquisì l'attuale pianta triangolare, il cui lato maggiore era posto verso la falesia e gli spigoli rivolti ad est e ad ovest vennero dotati di robusti bastioni a base quadrata, mentre quello rivolto a nord, per lo sbalzo del terreno e per un maggiore contenimento dei due lati del castello fu costruito con base circolare.
A conforto di questa tesi c'è da ricordare che durante i lavori di restauro del Castello effettuati circa vent'anni fa, sono venuti alla luce nella parte est del Castello alcune tombe datate fra il VI e il IX secolo, quasi prospicienti la falesia, come se quella parte fosse stata riservata a zona cimiteriale e subito a fianco le tracce di una torre del periodo normanno
Nel 1177 nel Castello molto probabilmente prese alloggio il Papa Alessandro III per un mese, prima di raggiungere Venezia e firmare la pace con Federico Barbarossa.
Nel XIII secolo il Castello venne danneggiato durante i terremoti del 1223, 1227 e con dall' incursione di rappresaglia del 1240 operata dai Veneziani, alleati del Papa, contro le fortezze di Federico II reo di aver tentato di invadere il territorio di Roma. Si vuole che l'imperatore si portò a Vieste per rendersi conto dei danni subiti e pare che vi rimase per un mese da quanto risulta dai Regesta Federiciani.
Vincenzo Giuliani sostiene che l'Imperatore trovando la città completamente distrutta, contribuì molto che si riedificasse, facendola munire di una regia fortezza".
Il Castello fu anche sede di accordi politici a cominciare dal periodo normanno, quando l'imperatore di Costantinopoli, Manuele I Comneno inviò a Vieste Michele Paleologo, governatore di Tassalonica, con una flotta e con fondi finanziari illimitati, per coordinare la sollevazione dei pugliesi contro il re di Sicilia per poter realizzare l'agognata aspirazione dell'espansione dell'Impero Bizantino. I moti iniziano alla fine dell'estate del 1155 e terminarono con grave fallimento il 28 maggio dell'anno successivo.
Indubbiamente nel Castello fu ospitato nel 1295 il Papa dimissionario Celestino V, quando, nel tentativo di raggiungere la costa opposta dell'Adriatico, il fortunale lo costrinse a sbarcare a 4 miglia da Vieste, dove venne preso in consegna dal Capitano di questa città.
Nel 1442 Alfonso V (poi I), in lotta contro i d'Angiò per la successione al trono di Napoli, soggiornò a Vieste per dirigere personalmente la guerra contro le navi nemiche che veleggiavano nell'Adriatico. In quell'occasione fece riparare il Castello, dandogli un nuovo aspetto. Infatti l'utilizzo della polvere pirica e delle nuove armi da fuoco richiedevano l'adozione di nuove strutture e tecniche difensive e i tre bastioni posti agli spigoli, da cilindrici acquisirono la forma a punta di lancia per meglio sviare le palle dei cannoni.
Nel 1480 Vieste venne assaltata da Acomet Pascià, ma il Castello si difese bene anche se riportò diversi danni. Il re Ferdinando d'Aragona a preghiera del governatore Antonio Miroballo, si portò nella nostra città e constatati i numerosi danni, si prodigò per la loro ricostruzione e, fra l'altro, fece costruire il Torrione di S. Francesco.
Altre opere sulle fortificazioni furono effettuate nel 1543-44 e, successivamente, nel 1559, dopo l'incursione di Draguth rais.
L'ultimo disastro lo soffrì nella notte del 31 maggio 1646, quando un altro terribile terremoto fece crollare il bastione rivolto ad ovest, danneggiare quello ad est e distruggere il casermaggio, con il distacco di gran parte della falesia. Vi furono nel Castello 84 morti mentre se ne contarono più di un centinaio nella città.
Durante l'eccidio del 27 luglio 1861, nel Castello si rifugiò la Guardia Nazionale per difendere cittadini e città dagli assalti e dalle prevaricazioni dei cosiddetti briganti.
Un ultimo duro colpo al Castello venne inferto dal cacciatorpediniere austriaco Lika, all'alba del 24 maggio 1915, alle ore 5,50, dieci minuti prima dell'inizio delle ostilità della I Guerra Mondiale. In quella stessa mattinata al largo di Vieste si autoaffondava il cacciatorpediniere Turbine, di servizio di vedetta fra Barletta e le isole Tremiti dopo aver esaurito tutti i colpi di cannone e i siluri contro l'incrociatore Helgoland e i caccia Csepel e Tatra.
Altra incursione la subì il 2 Novembre dell'anno successivo quando tre idrovolanti austriaci sganciarono tre bombe. Solo una di essa centrò il bersaglio, senza gravi conseguenze.
Il Castello ebbe anche una funzione sociale, quella di Semaforo. I pescatori prima di uscire con le loro barche guardavano verso il pennone del Castello dove, con simboli convenzionali, venivano indicate eventuali minacce di perturbazioni o burrasca.
Ai giorni nostri il Castello è sotto il controllo della Marina Militare che provvede alla gestione di una stazione meteorologica e di un radar.
