Le pavillon d'été à deux niveaux, avec son pignon à redents, sa tourelle d'escalier et ses têtes sculptées, se dresse à un angle du jardin clos. Bâti avec le jardin en 1604, il abritait au rez-de-chaussée une salle voûtée de banquet où l'on prenait les douceurs après le repas, et la pièce de l'étage servait peut-être de chambre d'été.