Language models predict:

4 phương ánCó giải thích

Các phương án trả lời

Chọn một phương án
Lời giảiChọn phương án để mở
Đáp án đúng: "Next word". Mô hình ngôn ngữ (language model) gán xác suất cho chuỗi từ bằng quy tắc nhân xác suất, P(w1…wn) là tích các P(wi | w1…wi−1), nên nhiệm vụ cốt lõi của nó là dự đoán từ kế tiếp khi biết các từ đứng trước; mô hình n-gram ước lượng xác suất đó từ số đếm, còn RNN hay GPT học nó bằng mạng nơ-ron. "Next character" đúng với mô hình ngôn ngữ mức ký tự, một biến thể riêng, nhưng không phải định nghĩa chung của mô hình ngôn ngữ vốn lấy từ hay token làm đơn vị. "Next sentence" là một bài toán phụ, như mục tiêu next sentence prediction của BERT, chỉ phân loại hai câu có liền nhau hay không chứ không sinh câu. "Topic" là đầu ra của mô hình chủ đề như LDA, không dự đoán phần tiếp theo của chuỗi.

Cùng phần 7

Xuất hiện trong 1 bộ đề