Une haute tour carrée couronnée de créneaux et d'une balustrade sculptée s'élève à côté d'une tour ronde à toit pointu, sur un ciel nuageux. Le donjon du côté ouest, antérieur à Jacques Cœur, fut rehaussé par lui après l'achat du fief de la Chaussée en 1443 ; on l'appelle aussi tour du Trésor.