分清擷取與收錄

爬蟲讀取 robots.txt 後，會據此判斷能否請求某些網址。搜尋引擎即使沒有擷取完整內容，亦可能透過連結知道網址存在。因此，禁止存取一個路徑，不等於保證它會從搜尋結果消失，這兩個決定應分別考慮。

私人內容要真正保護

不要把機密文件放在公開網址，再只靠 robots 規則保護。應使用登入驗證及存取權限。對公開但不希望收錄的頁面，要研究合適的 noindex 方法，並確保爬蟲能讀取相關指令；若請求本身被阻擋，指令亦可能無法被觀察到。

檢查已部署的文件

查看線上 robots.txt 的主機名稱、路徑、狀態及文字內容。HTTP 請求成功，但傳回 HTML 錯誤頁，也不算有效檢查。應與了解網站政策的人逐項審閱爬蟲分組及網站地圖連結。實驗室只報告是否觀察到純文字文件，不會據此斷言所有規則均允許或禁止存取。