Which model learns bidirectional context?

Đáp án đúng: "BERT". BERT (Bidirectional Encoder Representations from Transformers) dùng bộ mã hoá Transformer và được huấn luyện trước bằng mô hình ngôn ngữ che (masked language modeling): một số token bị che và mô hình phải đoán chúng dựa trên cả các từ bên trái lẫn bên phải, nên biểu diễn của mỗi từ mang ngữ cảnh hai chiều ngay trong một lần học. "GPT" là mô hình giải mã tự hồi quy, dùng mặt nạ nhân quả để mỗi token chỉ nhìn thấy các token đứng trước, tức ngữ cảnh một chiều trái sang phải. "Naive Bayes" là bộ phân loại xác suất coi các từ độc lập với nhau theo kiểu túi từ (bag of words), không mô hình hoá ngữ cảnh hay thứ tự. "RNN" chuẩn đọc chuỗi một chiều, trạng thái ẩn tại một vị trí chỉ tóm tắt phần đã đọc; muốn có hai chiều phải ghép thêm một RNN chạy ngược thành Bidirectional RNN, đó là một biến thể chứ không phải tính chất của RNN nói chung.