De l'autre côté d'une large douve, le bâtiment de porte blanc de la Sakashitamon se dresse à gauche, et le bâtiment de l'Agence de la Maison impériale, au toit de cuivre vert, s'élève parmi les arbres. Construit en 1935, ce bâtiment a aussi servi de palais provisoire de 1952 à 1968.