Vào thời điểm này, Edinburgh vẫn còn là một thị trấn rất khiêm tốn, nhưng người kế vị của David, Malcolm IV (1153-1165), đã biến lâu đài này thành nơi ở chính của mình.
Người kế vị David là Nữ hoàng Margaret đệ tam và bà quyết định chuyển đến lâu đài Edinburgh.