Per la sua
posizione strategica, Vieste costituì sempre uno dei maggiori
capisaldi di difesa del Gargano e conservò fino al 1846 il
titolo di Piazza d'armi. Tutti i governanti del Regno dell'Italia
meridionale, dai Normanni ai Borboni, hanno sempre tenuto nella
massima considerazione questo avanzatissimo posto dell'Adriatico
e lo hanno sempre dotato di "bastevole munizione e di
maggior numero di soldati..."(V. Giuliani, 1768). Il Castello, che sovrasta con la sua imponente mole il quartiere medioevale, viene fatto risalire alla II metà del sec. XI, quando conte di Vieste era il normanno Roberto Drengot. E' a pianta triangolare, corredata agli spigoli (nord. Est ed Ovest) di tre bastioni a punta di lancia, che incorporano quelli più antichi a base circolare.
A Sud, invece, sul limite dell'alto strapiombo della costa, si ergeva la fabbrica con la cappella, una serie di abitazioni e un piccolo cinquecentesco bastione.
Durante le lotte tra il Papato e Federico II (1240), subì con la città, da parte dei Veneziani, notevoli danni. Si vuole che lo stesso Imperatore accorse a Vieste e si preoccupò immediatamente di riedificarlo e ampliarlo, di rinforzare le mura della città e di restaurare anche la Cattedrale. Nei secc. XV e XVI resistette alla furia devastatrice di Acmet Pascià e Draguth Rais, e nel 1646 col terribile terremoto, crollò gran parte di esso.
Altri danni li subì, all'alba del 24 maggio 1915, al momento dell'inizio delle ostilità con l'Austria, quando fu cannoneggiato dal cacciatorpediniere Lika. Successivamente lo stesso cacciatorpediniere, insieme all'incrociatore Helgoland e i caccia Csepel e Tatra, rivolse i cannoni contro il cacciatorpediniere Turbine, accorso in aiuto di Vieste, affondandolo a poche miglia dalla città.
