Vào thời điểm này, Edinburgh vẫn còn là một thị trấn rất khiêm tốn, nhưng người kế vị của David, Malcolm IV (1153-1165), đã biến lâu đài này thành nơi ở chính của mình.
Malcolm Đệ Tứ quyết định chọn lâu đài ở Edinburgh làm ngôi nhà chính của mình.