Why is a robots.txt file publicly available?

Đáp án đúng: "To inform bots of crawl rules". Tệp robots.txt đặt ở thư mục gốc của tên miền theo giao thức Robots Exclusion Protocol; trình thu thập (crawler) như Googlebot đọc nó trước khi thu thập để biết đường dẫn nào được phép hoặc không, nên tệp buộc phải công khai thì bot mới đọc được. Vì công khai, đừng ghi vào đó đường dẫn nhạy cảm. "To block visitors" sai vì robots.txt chỉ là lời hướng dẫn mà bot tự nguyện tuân theo, không ngăn người dùng mở trang; muốn chặn truy cập phải dùng xác thực hoặc mật khẩu. "To increase page speed" sai vì tệp này không làm trang tải nhanh hơn với người dùng; nó chỉ có thể giảm tải thu thập lên máy chủ. "To organize site files" sai vì cấu trúc thư mục do máy chủ và người quản trị sắp đặt, robots.txt không sắp xếp tệp nào. "To create sitemaps" sai vì robots.txt có thể chứa dòng Sitemap trỏ tới sitemap XML, nhưng không tạo ra sitemap.