BERT uses:
4 phương ánCó giải thích
Các phương án trả lời
Chọn một phương ánLời giảiChọn phương án để mở
Đáp án đúng: "Bidirectional context". BERT (Bidirectional Encoder Representations from Transformers) dùng bộ mã hoá Transformer với cơ chế self-attention cho phép mỗi token nhìn cả bên trái lẫn bên phải. Nó được huấn luyện bằng masked language modeling: che khoảng 15% token và dự đoán chúng từ cả hai phía, nên biểu diễn mang ngữ cảnh hai chiều. "Unidirectional context" là đặc điểm của mô hình ngôn ngữ tự hồi quy như GPT, chỉ nhìn các token phía trước để đoán token tiếp theo. "Random sampling" là kỹ thuật chọn token khi sinh văn bản hay lấy mẫu dữ liệu; việc chọn token để che trong BERT có yếu tố ngẫu nhiên nhưng đó không phải loại ngữ cảnh mô hình dùng. "Frequency analysis" là thống kê tần suất kiểu bag-of-words, không phải cơ chế biểu diễn của BERT.