Au-dessus du parking et des jardins en terrasses s'étire la longue façade sud du château, sans toit et aux fenêtres vides, avec au milieu le portail corinthien orné d'un blason et des échafaudages sur la partie droite. Louis d'Arpajon (1590-1679), duc et pair de France, transforma le vieux château fort en résidence de style Renaissance ; les incendies et l'exploitation du château comme carrière de pierres au XIXe siècle l'ont ruiné, et il est classé monument historique depuis 1922.