__________ is the process of tokenizing or splitting a string, text into a list of tokens.
4 phương ánCó giải thích
Các phương án trả lời
Chọn một phương ánLời giảiChọn phương án để mở
Đáp án đúng: "Tokenization". Tokenization (tách token) là quá trình chia một chuỗi văn bản thành danh sách các token, thường là từ, dấu câu hoặc đơn vị dưới từ, ví dụ word_tokenize của NLTK biến một câu thành danh sách từ; nó là bước tiền xử lý đầu tiên để mọi bước sau có đơn vị làm việc. "Rooting" không phải thuật ngữ chuẩn trong NLP; việc đưa từ về gốc được gọi là stemming hay lemmatization. "Chunking" (phân đoạn nông) gom các token đã gán nhãn từ loại thành cụm như cụm danh từ, tức chạy sau tokenization chứ không tách chuỗi thành token. "Steaming" gần với stemming, là cắt hậu tố để đưa từ về dạng gốc, như "running" thành "run"; nó biến đổi từng token chứ không chia chuỗi thành danh sách token.
Cùng phần 2
Xuất hiện trong 1 bộ đề
Đi tiếp từ đây