The act of converting a text document into a set of individual words is referred as _________.

Đáp án đúng: "Tokenization". Tokenization (tách token) là bước tiền xử lý đầu tiên, cắt một chuỗi văn bản thành các đơn vị riêng lẻ gọi là token, thường là từ và dấu câu, ví dụ câu "I love NLP." thành bốn token I, love, NLP và dấu chấm; đó đúng là việc biến tài liệu thành tập các từ riêng lẻ. "Stemming" (rút gọn gốc từ) cắt hậu tố theo luật để đưa từ về dạng gốc thô, như "running" thành "run", và chỉ chạy được khi đã có token sẵn. "Lemmatization" (chuẩn hoá về dạng từ điển) dùng từ điển và thông tin từ loại để đưa từ về lemma, như "better" thành "good", cũng là bước xử lý trên từng token đã tách chứ không phải bước tách. "All of the others" sai vì stemming và lemmatization chuẩn hoá hình thái của từ, không làm nhiệm vụ chia tài liệu thành từ, nên không thể gộp chung với tokenization.