Cette maison à deux niveaux, aux fenêtres à meneaux et au haut toit d'ardoise, s'adosse aux vieux murs de la forteresse. Résidence du gouverneur orientée au sud, elle devint le greffe et le logement du gardien-chef quand la forteresse servit de prison ; Jean-Louis de Nogaret de La Valette, duc d'Épernon, en fut le gouverneur le plus connu.