Which model is pre-trained on a masked language modeling task?

Đáp án đúng: "BERT". BERT được huấn luyện trước bằng mô hình ngôn ngữ che (masked language modeling): khoảng 15% token trong câu bị thay bằng [MASK] hoặc token khác, và mô hình phải đoán lại token gốc từ ngữ cảnh hai phía; bản gốc còn kèm nhiệm vụ đoán câu tiếp theo (next sentence prediction). Nhờ mục tiêu này, BERT học được biểu diễn ngữ cảnh hai chiều. "GPT" được huấn luyện trước bằng mô hình ngôn ngữ nhân quả, đoán token tiếp theo từ các token đứng trước, không che token giữa câu. "LSTM" là một kiến trúc mạng hồi quy có ô nhớ và các cổng, không gắn với mục tiêu huấn luyện trước nào; nó có thể được huấn luyện cho đủ loại tác vụ. "GRU" cũng là kiến trúc hồi quy, đơn giản hơn LSTM với hai cổng, và cũng không phải mô hình được định nghĩa bởi tác vụ che từ.