Kan'eiji là nơi có quyền lực lớn cho đến năm 1868, khi nó trở thành chiến trường cuối cùng của Mạc phủ chống lại quân đội triều đình và hầu hết các tòa nhà đã bị phá hủy.
Chỉ có ba ngôi nhà ở Kan'eiji còn đứng vững sau những sự kiện xảy ra ở đây vào năm 1868.