Risalente all'XI sec. d.C., viene nominato per la prima volta in un documento del 1087, quando ne è Signore Baldovino il Normanno.
Passeggiando tra i vicoli del centro storico ci si accorge che non è rimasto molto dell'originario maniero che doveva avere sette torri cilindriche di avvistamento e di difesa.
Infatti oggi sono ben visibili solo quattro torri, altre due si trovano invece entro le mura che servivano a separare il palazzo ducale dal resto delle residenze.