NLP301c - Phần 7: Mô hình ngôn ngữ n-gram và tự hoàn thành

Đáp án đúng: "Infinity". Perplexity (độ hỗn loạn) của mô hình ngôn ngữ trên tập kiểm thử W gồm N từ được tính bằng PP(W) = P(w1…wN) mũ (−1/N), tức nghịch đảo xác suất chuẩn hoá theo độ dài. Mô hình không làm trơn (unsmoothed) ước lượng xác suất bằng tần suất tối đa (maximum likelihood), nên một từ chưa từng gặp trong tập huấn luyện nhận xác suất 0; tích xác suất của cả câu khi đó bằng 0 và PP = 1 chia cho 0 tiến tới vô cực. Đây chính là lý do phải dùng làm trơn Laplace, Kneser-Ney hay token UNK. "Zero" sai vì perplexity luôn lớn hơn hoặc bằng 1, càng nhỏ mô hình càng tốt, và chỉ có thể giảm chứ không thể về 0. "Any Non-Zero Value" quá mơ hồ và hàm ý một số hữu hạn, trong khi ở đây giá trị không xác định hữu hạn. "Inefficient" là một tính từ đánh giá, không phải giá trị số mà công thức perplexity trả về.

Đáp án đúng: "Add-1 smoothing". Làm trơn (smoothing) trong mô hình n-gram chuyển bớt xác suất từ các sự kiện đã thấy sang sự kiện chưa thấy để tránh xác suất bằng 0. Add-1 (Laplace) cộng 1 vào mọi số đếm; vì từ vựng lớn nên số bigram chưa thấy chiếm tuyệt đại đa số, khối xác suất bị dồn sang chúng quá nhiều và xác suất của các bigram phổ biến bị giảm mạnh. "Add-k smoothing" cộng một số k nhỏ hơn 1 nên giảm bớt hiện tượng trên, dù vẫn phải chọn k phù hợp. "Witten-Bell smoothing" ước lượng khối xác suất dành cho sự kiện mới dựa trên số loại từ khác nhau đã từng theo sau một ngữ cảnh, nên phân bổ hợp lý hơn. "Good-Turing smoothing" dùng số sự kiện chỉ xuất hiện một lần để ước lượng xác suất của sự kiện chưa thấy, cũng được thiết kế để không cho quá nhiều. Vì thế Add-1 là ví dụ điển hình của kỹ thuật cho sự kiện chưa thấy quá nhiều xác suất.

Đáp án đúng: "Next word". Mô hình ngôn ngữ (language model) gán xác suất cho chuỗi từ bằng quy tắc nhân xác suất, P(w1…wn) là tích các P(wi | w1…wi−1), nên nhiệm vụ cốt lõi của nó là dự đoán từ kế tiếp khi biết các từ đứng trước; mô hình n-gram ước lượng xác suất đó từ số đếm, còn RNN hay GPT học nó bằng mạng nơ-ron. "Next character" đúng với mô hình ngôn ngữ mức ký tự, một biến thể riêng, nhưng không phải định nghĩa chung của mô hình ngôn ngữ vốn lấy từ hay token làm đơn vị. "Next sentence" là một bài toán phụ, như mục tiêu next sentence prediction của BERT, chỉ phân loại hai câu có liền nhau hay không chứ không sinh câu. "Topic" là đầu ra của mô hình chủ đề như LDA, không dự đoán phần tiếp theo của chuỗi.

Đáp án đúng: "Infinity". Perplexity đo mức một mô hình ngôn ngữ bị bất ngờ trước tập kiểm thử, bằng nghịch đảo xác suất của chuỗi kiểm thử lấy căn bậc N, với N là số từ. Mô hình không làm trơn ước lượng P(từ | lịch sử) bằng tỉ lệ đếm trong dữ liệu huấn luyện, nên từ chưa thấy (unseen word) có đếm bằng 0 và xác suất bằng 0; chỉ một thừa số 0 cũng làm cả tích bằng 0, và nghịch đảo của 0 là vô cực, vì thế perplexity bằng vô cực. Đây là lý do mô hình thực tế luôn làm trơn hoặc dùng token UNK. "0" sai vì perplexity có cận dưới là 1, đạt được khi mô hình gán xác suất 1 cho mọi từ đúng, không bao giờ về 0. "any non-zero value" quá chung chung, không nêu được hệ quả cụ thể của xác suất 0. "None of the mentioned" sai vì vô cực đã có trong các lựa chọn và là kết quả chính xác.

Đáp án đúng: "Add-one smoothing". Mô hình n-gram ước lượng xác suất bằng số đếm, nên n-gram chưa xuất hiện trong kho huấn luyện nhận xác suất 0 và kéo cả câu về xác suất 0; làm trơn cộng một (Laplace smoothing) cộng thêm 1 vào mọi số đếm, với bigram là P(wi | wi−1) = (C(wi−1 wi) + 1) / (C(wi−1) + V) trong đó V là kích thước từ vựng, để mọi n-gram đều có xác suất dương. "Gradient descent smoothing" không phải kỹ thuật làm trơn nào; gradient descent là phương pháp tối ưu tham số bằng cách đi ngược hướng đạo hàm. "Kernel smoothing" là phương pháp ước lượng mật độ hay hồi quy cho dữ liệu liên tục bằng hàm nhân, không dùng cho số đếm n-gram. "Fourier smoothing" lọc tín hiệu trong miền tần số, thuộc xử lý tín hiệu chứ không thuộc mô hình ngôn ngữ.