Nó còn được biết đến rộng rãi với cái tên Tháp Tù nhân vì Aurangzeb đã giam giữ cha mình là Shahjahan ở đây, cho phép ông có thể nhìn thấy Taj Mahal của mình.
Nó được gọi là Tháp Tù nhân vì các tù nhân chiến tranh theo truyền thống được giam giữ ở đây.