Au-delà d'une pelouse plantée de pins et d'une douve, le bâtiment de porte blanc de la Sakuradamon enjambe l'ouverture entre des murs de pierre massifs. Construite en 1636, cette porte à enclos (masugata) est connue pour l'assassinat du régent Ii Naosuke devant elle en 1860 ; elle est classée bien culturel important.