Vieste liegt seit
jeher in einer strategisch günstigen Lage, war aus diesem Grund
seit jeher einer der größten Verteidigungsstützpunkte des
Garganos und hatte bis zum Jahr 1846 den Titel "Exerzierplatz"
inne. Alle Verwalter des Königreiches von Sizilien und Neapel,
von den Normannen zu den Bourbonen, schätzten die in die Adria
vorgeschobene Stadt hoch und versahen sie immer wieder mit
"einem ausreichenden Munitionsvorrat und einer Vielzahl von
Soldaten ..." (V. Giuliani, 1768).Das Schloß, in seiner beherrschenden Lage über der Altstadt, wurde vermutlich Mitte des 11. Jahrhunderts erbaut, als der Normanne Roberto Drengot Graf von Vieste war. Es hat einen dreieckigen Grundriß und an jeder der drei Ecken (Norden, Ost und West) drei lanzenförmige Bastionen, in denen wiederum die älteren runden Bastionen enthalten sind.
Im südlich gelegenen Übergang befanden sich die Werkstätten mit der Kapelle, einige Wohnungen und eine kleine Bastion aus dem 16. Jahrhundert.
Während der Kämpfe zwischen dem Papsttum und Friedrich II. von Hohenstaufen (1240) erlitt das Schloß großen Schaden durch die Venezianer. Man erzählt sich, daß der Kaiser nach Vieste kam um sich darum zu kümmern, das Schloß wiederaufzubauen und gleichzeitig zu verbreiten, die Stadtmauer zu verstärken und die Kathedrale zu restaurieren.
Im 15. und 16. Jahrhundert mußte sich die Burg den vernichtenden Attacken des Acmet Pascià und Dragut Rais widersetzen. 1646 stürzte einen großen Teil der Burg wegen einem Erdbeben ein. Weitere Schaden erlitt sie am 24. Mai 1915, zu Beginn der Feindseligkeiten zwischen Italien und Österreich, als sie vom Zerstörer Lika mit Kanonen beschossen wurde. Am selben Tag richtete der Zerstörer zusammen mit dem Kreuzer Helgoland und den Kreuzern Csepel und Tatra die Kanonen gegen den italienischen Kreuzer Turbine, der Vieste zu Hilfe eilte, und versenkte ihn einige Meilen vor der Stadt im Meer.
