Which step typically follows tokenization?
4 phương ánCó giải thích
Các phương án trả lời
Chọn một phương ánLời giảiChọn phương án để mở
Đáp án đúng: "Stop-word removal". Trong pipeline tiền xử lý văn bản, tokenization (tách token) chia văn bản thành từ; ngay sau đó các bước làm sạch ở mức token được áp dụng, điển hình là loại bỏ stop word (từ dừng) như the, is, of vốn xuất hiện dày đặc nhưng ít mang nội dung, rồi mới tới stemming hay lemmatization. Bước này cần có token trước mới làm được và giảm nhiễu cho các bước sau. "Parsing" là phân tích cú pháp, cần câu đầy đủ nên thậm chí phải giữ stop word, và thường đến sau gán nhãn từ loại. "Translation" là ứng dụng đầu cuối, không phải một bước tiền xử lý. "POS tagging" cũng diễn ra sau tách token và trong pipeline phân tích cú pháp nó có thể đi liền sau tokenization; nhưng trong chuỗi tiền xử lý điển hình cho phân loại hay truy xuất văn bản, bước thường gặp ngay sau là loại stop word.
Cùng phần 2
Xuất hiện trong 1 bộ đề
Đi tiếp từ đây