Processing the corpus with the provided lemmatize_document reduces the total number of tokens to what percentage of the original?

Đáp án đúng: "45-50%". Hàm lemmatize_document trong bài thực hành xử lý ngôn ngữ tự nhiên làm hai việc cùng lúc: đưa mỗi từ về lemma (dạng gốc trong từ điển, chẳng hạn running thành run) và loại bỏ stop word (từ chức năng như the, is, and) cùng dấu câu. Trong văn bản tiếng Anh, từ chức năng và dấu câu chiếm một phần rất lớn số token, nên sau khi lọc, kho văn bản chỉ còn lại khoảng một nửa số token ban đầu. Mức "10-15%" và "20-35%" ngụ ý đã cắt gần hết văn bản, mạnh hơn nhiều so với việc chỉ bỏ từ chức năng và dấu câu. Ngược lại, "70-75%" và "85-95%" ứng với trường hợp gần như không lọc gì; đó là kết quả nếu chỉ lemmatize thuần túy, vì bước này chỉ đổi dạng từ chứ không làm giảm số lượng token.