Which of the following smoothing techniques assigns too much probability to unseen events?
4 phương ánCó giải thích
Các phương án trả lời
Chọn một phương ánLời giảiChọn phương án để mở
Đáp án đúng: "Add-1 smoothing". Làm trơn (smoothing) trong mô hình n-gram chuyển bớt xác suất từ các sự kiện đã thấy sang sự kiện chưa thấy để tránh xác suất bằng 0. Add-1 (Laplace) cộng 1 vào mọi số đếm; vì từ vựng lớn nên số bigram chưa thấy chiếm tuyệt đại đa số, khối xác suất bị dồn sang chúng quá nhiều và xác suất của các bigram phổ biến bị giảm mạnh. "Add-k smoothing" cộng một số k nhỏ hơn 1 nên giảm bớt hiện tượng trên, dù vẫn phải chọn k phù hợp. "Witten-Bell smoothing" ước lượng khối xác suất dành cho sự kiện mới dựa trên số loại từ khác nhau đã từng theo sau một ngữ cảnh, nên phân bổ hợp lý hơn. "Good-Turing smoothing" dùng số sự kiện chỉ xuất hiện một lần để ước lượng xác suất của sự kiện chưa thấy, cũng được thiết kế để không cho quá nhiều. Vì thế Add-1 là ví dụ điển hình của kỹ thuật cho sự kiện chưa thấy quá nhiều xác suất.
Cùng phần 7
Xuất hiện trong 1 bộ đề
Đi tiếp từ đây