What will be the perplexity value if you calculate the perplexity of an unsmoothed language model on a test corpus with unseen words?

Đáp án đúng: "Infinity". Perplexity (độ hỗn loạn) của mô hình ngôn ngữ trên tập kiểm thử W gồm N từ được tính bằng PP(W) = P(w1…wN) mũ (−1/N), tức nghịch đảo xác suất chuẩn hoá theo độ dài. Mô hình không làm trơn (unsmoothed) ước lượng xác suất bằng tần suất tối đa (maximum likelihood), nên một từ chưa từng gặp trong tập huấn luyện nhận xác suất 0; tích xác suất của cả câu khi đó bằng 0 và PP = 1 chia cho 0 tiến tới vô cực. Đây chính là lý do phải dùng làm trơn Laplace, Kneser-Ney hay token UNK. "Zero" sai vì perplexity luôn lớn hơn hoặc bằng 1, càng nhỏ mô hình càng tốt, và chỉ có thể giảm chứ không thể về 0. "Any Non-Zero Value" quá mơ hồ và hàm ý một số hữu hạn, trong khi ở đây giá trị không xác định hữu hạn. "Inefficient" là một tính từ đánh giá, không phải giá trị số mà công thức perplexity trả về.