Comunemente detto Castello, visivamente unitario benché composto da edifici disomogenei per datazione e caratteristiche, si estende da est a ovest tra le due piazze principali della città l'antica piazza Re Astolfo a est e la rinascimentale piazza dei Martiri a ovest. Degni di nota la torre del Passerino a nord, il Torrione di Galasso o degli Spagnoli a sud.