A robots.txt file contains “User-agent: * Disallow: /”. What does this mean?

Đáp án đúng: "No robots can access any part of the site". Trong tệp robots.txt, dòng User-agent: kèm dấu sao áp quy tắc cho mọi trình thu thập dữ liệu (crawler), còn Disallow: / chặn thư mục gốc, tức chặn toàn bộ đường dẫn của website; vì vậy không bot tuân thủ nào được thu thập bất kỳ trang nào. Lưu ý robots.txt chặn việc thu thập chứ không bảo đảm gỡ khỏi chỉ mục, vì URL vẫn có thể hiện nếu có liên kết trỏ tới. "All robots can access the entire site" sai vì muốn cho phép toàn bộ thì để Disallow: trống, nghĩa ngược hẳn với dấu gạch chéo. "Only Google can access the site" sai vì muốn chỉ cho Google vào phải có nhóm riêng cho Googlebot được cho phép, trong khi ở đây quy tắc chặn áp cho tất cả, kể cả Googlebot. "The site has no sitemap" sai vì sitemap được khai báo bằng dòng Sitemap: riêng; quy tắc Disallow không nói gì về việc website có sitemap hay không.