Các thủy thủ châu Âu, nơi mà ngôi đền là một địa danh quan trọng, giúp họ tránh xa những vùng nước nông nguy hiểm của bờ biển Orissa (họ suýt biến nó thành một ngọn hải đăng), gọi nó là Chùa Đen để có thể phân biệt được nó. từ Chùa Trắng của Đền Jaggannath quét vôi trắng của Puri xa hơn về phía bờ biển.
Ngôi chùa được gọi là chùa Kim Cương vì nó có hình kim cương.