Carlo d’Angiò, per un comodo soggiorno durante le sue visite, fece costruire sue residenze che chiamò “Palatia” a Bari, Barletta, Brindisi, Melfi, Mola e Villanova.

I primi quattro palazzi furono edificati all’interno dei castelli fortificati preesistenti, gli altri due (Mola e Villanova) nelle nuove città, al momento stesso della costruzione delle mura. Per il palazzo di Mola utilizzò due angoli delle mura e si trovava quindi all’interno della nuova città e lungo le mura  (Patrick Boucheron, Jacques Chiffoleau – 2004  “Les palais dans la ville: espaces urbains et lieux de la puissance publique …”? – Pagina 88). Per dire il vero, questa soluzione interpretativa in parte contrasta con il testo  del documento (predictum palatium fieri debet ab uno capite muri ambitus dicte terre, usque ad aliud caput eiusdem terre), ma sembra la più logica perchè, date le misure delle mura innanzi citate, non si comprende dove potesse essere situato il palazzo per stare fra due mura opposte.
Il Re, con lettera del 19 gennaio 1279, ordinò al Giustiziere di Terra di Bari di realizzare il Palatium con relativa cisterna, sotto la guida del soprastante Alberico de Mornay. Il Giustiziere s’impegnò immediatamente a realizzare un fabbricato lungo 10 canne, largo 3 canne e mezza ed alto 4 canne, con annessa cisterna di 10 canne per 3 (non furono date indicazioni precise nei documenti angioini sull’ubicazione del palazzo molese, che alcuni studiosi ritengono sia il nucleo del fabbricato poi ampliato da Gaspare Toraldo nel 1509, l’attuale castello; fatto improbabile, come vedremo tra poco). 
Il palazzo fu completato nel luglio 1280, l’anno successivo la cisterna (o cisterne) e l’annesso giardino. Si deve ritenere che le cisterne, realizzate successivamente, affiancassero il palazzo: secondo le istruzioni regie dovevano avere una profondità necessaria fino a ritrovare acqua (usque quo perveniretur ad aquam vivam). Questo particolare ci fa presumere che il fabbricato non poteva trovarsi sul litorale, perché scavando avrebbero trovato soltanto acqua marina, non utile quindi per usi potabili. Ci fa ritenere anche che non poteva coincidere con l’attuale castello in riva al mare e fuori delle mura della città; il riferimento che si fa come “castello angioino” dovrebbe ritenere inesatto.
Durante la prima dominazione veneziana, nel giugno/luglio 1495, anche gli abitanti di Mola preferirono arrendersi ai veneziani senza combattere. Per quanto riguarda Mola occorre dire però che fu conquistata solo la città, mentre il castello, che era separato dalle mura, rimase in saldo possesso degli Aragonesi.
Tuttavia subì notevoli danni con l’assedio veneziano e Toraldo, il feudatario, attuò un radicale restauro tramite l’architetto militare Evangelista Menga da Copertino, che gli diede l’attuale forma di poligono stellato.
Anche durante la seconda dominazione veneziana non fu possibile espugnare il castello di Mola che rimase, ancora una volta, nelle mani degli imperiali. Castello di Mola, come già detto, che era all’esterno delle mura e non all’interno come il palazzo fatto costruire da Carlo I d’Angiò. Nelle relazioni veneziane fu scritto: «Polignano è del tutto nostro et cussì Monopoli; la terra de Mola se ha reso, ma el Castello se tiene».
Dal castello gli imperiali sparavano con le bombarde sulla città e sulle navi. Una galea veneziana (la Bemba) fu colpita da una bombarda. L’abitato di Mola, vicinissimo alle artiglierie, subì molti danni, come risulta da una relazione del barone di Lecce, il quale arrabbiato concluse: «vol levarsi e andare a prendere la rocha di Mola che ha molto danizà la terra».
Il castello, quindi, era al di fuori delle mura e non risulta da alcun documento che le mura fatte costruire da Carlo d’Angiò dopo il 1277 fossero state modificate, “in peius”, peraltro, restringendo l’area della città che aveva invece bisogno di più spazio per l’aumento degli abitanti.