Tệp nào được sử dụng để thực hiện các quyền được Tiêu chuẩn loại trừ robot khuyến khích?
Robots.txt được sử dụng như một phần của Tiêu chuẩn loại trừ robot, một giao thức tự nguyện mà Internet Archive tôn trọng, không cho phép bot lập chỉ mục một số trang nhất định được người tạo ra nó mô tả là vượt quá giới hạn.