Costruito dai Normanni intorno al 1054 a puro scopo di fortezza difensiva, il Castello di Conversano vide protrarsi la sua edificazione fino al 1187. In seguito (XVII sec.) divenne dimora dei Conti Acquaviva e fu trasformato tramite successivi rimaneggiamenti in fastoso alloggio signorile. Il fortino fu edificato su antiche mura megalitiche, risalenti al VI-IV secolo a.C., ancora visibili alla base della Torre Maestra, unica torre normanna sopravissuta. L’opera nel complesso presenta una pianta trapezoidale con i quattro angoli rivolti verso i punti cardinali. Nei quattro angoli svettano quattro torri. La torre Maestra o torre normanna, alta circa 25 metri, è costruita con conci calcarei regolari di cui si compongono le murature. Iniziata nel XI secolo dal primo conte di Conversano Goffredo Altavilla il Normanno, fu portata a compimento nel secolo XIII dai conti Brienne. All’interno è ripartita su tre livelli, collegati tra loro da una scala creata nello spessore dei muri. La seconda torre, simile alla torre maestra ma di dimensioni più modeste, fu costruita sul lato sud-est del Castello tra la fine del XIII e gli inizi del XIV secolo. Nelle sue pareti si possono ammirare belle finestre gotiche e sul terrazzo un belvedere impreziosito da arcate. A partire dal XV secolo la contea di Conversano fu retta dalla famiglia Acquaviva che trasformò l'antica fortezza in una dimora principesca e ne consolidò alcuni elementi difensivi. In questo periodo (entro il 1480) Giulio Antonio Acquaviva fece edificare la torre cilindrica, divenuta oggi simbolo di Conversano, in sostituzione di una delle quattro torri quadrangolari del castello. Dalla presenza della merlatura in cima si intuisce che la torre venne rimaneggiata in un'epoca successiva. La torre poligonale invece fu costruita entro il 1503 da Andrea Matteo Acquaviva, figlio di Giulio Antonio. La torre ha la caratteristica forma a scarpa, con le mura leggermente inclinate per attutire i colpi dell’artiglieria. Sul terrazzo è presente una merlatura adatta alle bocche dei cannoni, mentre le strette feritoie lungo i lati del poligono consentivano il posizionamento delle munizioni. Oggi la torre risulta parzialmente interrata, ma un tempo era circondata da un fossato difensivo. Risalenti all’ottocento sono sicuramente le finestre ed i balconi della facciata che dà su Piazza Castello. Accanto alla torre poligonale, si trovava l’originario ponte levatoio che serviva a superare il fossato circostante prima che il castello venisse ornato dell’attuale ingresso monumentale sul lato sud-ovest, nel 1710, come scritto sull’architrave del portale, su richiesta della contessa Dorotea Acquaviva. Nella stessa occasione la contessa fece ristrutturare il cortile con l’accesso da un lato alla “cavallerizza” e, dall’altro, alle stanze dei conti. La “cavallerizza” era la zona destinata ad accogliere le carrozze ed è arricchita dalla presenza di un affresco seicentesco raffigurante i SS. Medici. Il castello includeva saloni di rappresentanza, dove i Conti ricevevano i loro ospiti, le stanze da letto, il “guardaroba”, la “cucina”, la cappella. Tra le stanze comitale merita risalto la magnifica camera nuziale del conte Giangirolamo II Acquaviva d'Aragona (detto il “Guercio di Puglia”) che conserva affreschi di Paolo Finoglio. Accanto alla camera nuziale troviamo le sale delle feste, illuminate da alti finestroni, dove inizialmente erano disposte le tele del Finoglio raffiguranti “La Gerusalemme Liberata”. Attualmente è possibile visitare solo pochi ambienti, in quanto molti sono abitati e proprietà di privati. Il Castello ospita al suo interno la Pinacoteca comunale, in cui sono esposte le tele seicentesche del ciclo "La Gerusalemme Liberata" del Finoglio.