NLP301c - Phần 2: Hình thái học và tiền xử lý văn bản

Thuật toán Porter cắt hậu tố theo từng bước luật để đưa các biến thể về một gốc chung, nhanh nhưng có thể tạo ra gốc không phải từ thật. Việc cắt này có tác dụng nhờ hình thái học: hình vị biến tố như -s hay -ed chỉ đổi dạng ngữ pháp, còn hình vị phái sinh có thể đổi cả từ loại lẫn nghĩa, như compute thành computation. Lemmatization dùng từ điển và từ loại để trả về dạng gốc có nghĩa, chẳng hạn men về man. Các bước này thường chạy sau tách từ, khi chuỗi văn bản đã được chia thành từng token. Định luật Zipf cho thấy một nhóm nhỏ từ chiếm phần lớn số lần xuất hiện trong kho văn bản, nên loại bỏ từ dừng thường thu gọn dữ liệu đáng kể, dù với phân tích cảm xúc, bỏ một từ như not có thể làm đảo nghĩa câu. Cấu trúc và nghĩa của cả câu được xét ở Phần 3.