Là một thị trấn kiên cố đã trụ vững qua nhiều cuộc bao vây vào thời Trung cổ, Uzerche sau này trở thành nơi yêu thích của những gia đình thịnh vượng xây dựng trang viên trên sườn dốc.
Nhiều gia đình giàu có đã xây biệt thự trên vách đá ở Uzerche.