Non è possibile datare con precisione l'origine del castello di Barletta, il cui aspetto attuale è chiaramente quello di una fortezza cinquecentesca ma la cui origine va molto addietro nei secoli.
Gli storici locali parlano di una "poderosa rocca eretta dai Normanni nella seconda metà del XII sec. a difesa della città, caposaldo militare della linea difensiva dell'Ofanto" allorquando "erano frequenti le incursioni dei pirati che depredavano le coste dell'Adriatico".
Il primo documento scritto è in un decreto del 1240 con cui Federico II includeva l'edificio tra i castelli del Giustizierato di Terra di Bari.
Tra le testimonianze di questo periodo rimane unica l'aquila sveva, simbolo dell'autorità federiciana, ora murata nella lunetta della finestra a destra di chi entra nell'atrio.
Con gli Angioini il Castello, come tutta la città, ebbe un nuovo assetto ad opera di Pietro d'Angicourt, il famoso architetto francese che contribuì alla diffusione in Italia meridionale del linguaggio gotico.
Vero braccio destro di Carlo d'Angiò, L'Angicourt, che a Barletta possedeva due case, modificò ed ampliò il castello.
Gli Aragonesi riportarono l'edificio all'originaria vocazione difensiva, facendone una fortezza inespugnabile ed una vera e propria macchina da guerra.
Ferdinando I d'Aragona nel 1461, all'indomani della sua incoronazione avvenuta nell'adiacente cattedrale, assediato da eserciti filo-angioini, vi si rifugiò fino all'intervento dello Scandeberg.
Nel 1527, come ricorda una targa all'entrata, persino l'imperatore Carlo V, cui si deve in definitiva l'attuale assetto della fortezza, partecipò alla storia dell'edificio, aggiungendo il fossato ed i 4 bastioni angolari.
In seguito non ci furono interventi di rilievo fino al 1867 quando nel corso di un'asta pubblica il Comune di Barletta lo acquistò per la somma di L.30.000, concedendolo poi all'autorità militare che ne fece un deposito d'armi ed un carcere.
Nel 1976 un complesso intervento di restauro ha consolidato la struttura, facendone la sede delle collezioni del museo-pinacoteca della città.