Sau đó, họ đã xây dựng lại nó để củng cố uy tín của mình, chỉ để đốt cháy nó một lần nữa trong cơn giận dữ khi cuộc Minh Trị Duy Tân quyền lực đế quốc bãi bỏ chế độ Mạc phủ của họ vào năm 1868.
Họ đốt tòa nhà của chính mình vì không hài lòng với thời Minh Trị.