Costruito insieme al Castello, subì ingenti danni con il terremoto del 1501. Fu presto ristrutturato, se già nel 1564 ospitò il poeta Torquato Tasso al quale fu dedicata una sala: La sala del Tasso.