Năm 1529, công việc xây dựng một tòa tháp và các căn hộ hoàng gia được bắt đầu cho James và vợ ông, Mary of Guise, hiện tạo thành phần phía tây và tòa tháp của cung điện hiện tại.
Những căn hộ hoàng gia cũ đã bị phá hủy từ lâu.