What should you check before scraping a web site?

Đáp án đúng: "That the web site allows scraping". Trước khi viết chương trình tự động tải và bóc dữ liệu từ một trang (web scraping), cần xem trang có cho phép điều đó không: đọc điều khoản sử dụng và tệp robots.txt ở gốc tên miền, vì có trang cấm thu thập tự động hoặc chỉ cho phép ở mức độ nhất định; bỏ qua bước này có thể bị chặn địa chỉ IP hoặc vi phạm điều khoản. Phương án "That the web site supports the HTTP GET command" không cần kiểm vì mọi máy chủ web đều phục vụ trang qua GET, đó chính là cách trình duyệt mở trang. Phương án "That the web site returns HTML for all pages" không phải điều kiện: chương trình có thể xử lý cả JSON, XML hay ảnh tuỳ theo trang. Phương án "That the web site only has links within the same site" không liên quan: liên kết trỏ ra trang khác chỉ cần lọc khi lần theo, chứ không quyết định có được phép thu thập hay không.