Ngay sau khi đến Tây Ban Nha, chàng trai trẻ kế thừa danh hiệu Hoàng đế La Mã Thần thánh, tên là Charles V. Trách nhiệm của vương miện khiến anh bận rộn rời xa các dinh thự hoàng gia ở Toledo, Segovia, Valladolid và Madrid.
Charles V khá buồn khi phải xa ngôi nhà xa hoa của mình.