Câu hỏi: NLP301c - Phần 2: Hình thái học và tiền xử lý văn bản

Đáp án đúng gồm hai ý: "It helps in reducing the randomness in the word" và "It reduces the dimensionality of the input". Chuẩn hoá từ (text normalization) gồm chuyển chữ thường, stemming, lemmatization, sửa chính tả, đưa nhiều biến thể bề mặt về một dạng chung: Running, runs, ran đều quy về run. Lợi ích thứ nhất là giảm tính ngẫu nhiên, tức giảm sự đa dạng tùy tiện về hình thức của cùng một từ, giúp mô hình nhận ra chúng là một. Lợi ích thứ hai là giảm số chiều đầu vào: từ vựng nhỏ lại nên vector bag-of-words hay TF-IDF ngắn hơn và bớt thưa. "It increases the false negatives" không phải lợi ích; ngược lại, chuẩn hoá thường giúp tìm kiếm khớp được nhiều biến thể hơn, tức giảm false negative, và nếu có làm tăng lỗi thì đó là tác dụng phụ chứ không phải ưu điểm. "All of the others" sai vì nó kéo theo cả ý về false negative vốn không phải lợi ích.

Đáp án đúng: "Chunking". Chunking (phân đoạn nông, shallow parsing) là quá trình trích các cụm từ như cụm danh từ, cụm động từ từ văn bản phi cấu trúc và gán thêm cấu trúc cho nó; thường làm sau khi đã tách token và gán nhãn từ loại, rồi dùng luật hoặc biểu thức chính quy trên nhãn, ví dụ RegexpParser của NLTK với mẫu NP gồm DT? JJ* NN, để gom "the big dog" thành một cụm danh từ mà không dựng cả cây cú pháp đầy đủ. "Rooting" không phải thuật ngữ chuẩn của NLP. "Steaming" gần với stemming, việc cắt hậu tố để đưa từng từ về gốc, chỉ làm việc trên một từ chứ không trích cụm. "Lemmatization" đưa từ về dạng từ điển bằng từ điển và thông tin từ loại, cũng là chuẩn hoá từng từ riêng lẻ, không gom các từ thành cụm có cấu trúc.