Kan'eiji là nơi có quyền lực lớn cho đến năm 1868, khi nó trở thành chiến trường cuối cùng của Mạc phủ chống lại quân đội triều đình và hầu hết các tòa nhà đã bị phá hủy.
Phần lớn các tòa nhà ở Kan'eiji đã bị phá hủy vào cuối thế kỷ 19.