Le grand donjon carré s'élève derrière son bâtiment d'entrée, à côté du logis du Gouverneur et de la tour ronde Louis XI, avec des défenses ruinées au premier plan. Bâtie par Foulques Nerra, comte d'Anjou, entre 1013 et 1035, cette tour de 36 mètres a été entourée de nouvelles défenses du XIIe au XVe siècle.