NLP301c - Phần 12: Transformer và mô hình ngôn ngữ tiền huấn luyện

Đáp án đúng: "BERT". BERT (Bidirectional Encoder Representations from Transformers) dùng bộ mã hoá Transformer và được huấn luyện trước bằng mô hình ngôn ngữ che (masked language modeling): một số token bị che và mô hình phải đoán chúng dựa trên cả các từ bên trái lẫn bên phải, nên biểu diễn của mỗi từ mang ngữ cảnh hai chiều ngay trong một lần học. "GPT" là mô hình giải mã tự hồi quy, dùng mặt nạ nhân quả để mỗi token chỉ nhìn thấy các token đứng trước, tức ngữ cảnh một chiều trái sang phải. "Naive Bayes" là bộ phân loại xác suất coi các từ độc lập với nhau theo kiểu túi từ (bag of words), không mô hình hoá ngữ cảnh hay thứ tự. "RNN" chuẩn đọc chuỗi một chiều, trạng thái ẩn tại một vị trí chỉ tóm tắt phần đã đọc; muốn có hai chiều phải ghép thêm một RNN chạy ngược thành Bidirectional RNN, đó là một biến thể chứ không phải tính chất của RNN nói chung.

Đáp án đúng: "Sense disambiguation approach". Câu hỏi phủ định, cần tìm thứ không phải cách tiếp cận học cho hệ hỏi đáp (Question Answering). Khử nhập nhằng nghĩa từ (word sense disambiguation) là một bài toán con của NLP, xác định nghĩa đúng của từ đa nghĩa trong ngữ cảnh; nó có thể là một bước xử lý trong hệ QA nhưng không phải cách tiếp cận để hệ thống học trả lời. "Unsupervised approach" là cách tiếp cận đúng, học từ dữ liệu không nhãn như gom cụm câu hỏi hay khai thác đồng xuất hiện giữa câu hỏi và đoạn văn. "Supervised approach" cũng đúng, huấn luyện trên các cặp câu hỏi và câu trả lời có nhãn, ví dụ mô hình đọc hiểu trích xuất đoạn trả lời. "Knowledge based approach" cũng là hướng hợp lệ, trả lời bằng truy vấn cơ sở tri thức hay ontology có cấu trúc; ba hướng này được nêu như các cách xây dựng hệ QA, nên không phải đáp án.

Đáp án đúng: "BERT". BERT được huấn luyện trước bằng mô hình ngôn ngữ che (masked language modeling): khoảng 15% token trong câu bị thay bằng [MASK] hoặc token khác, và mô hình phải đoán lại token gốc từ ngữ cảnh hai phía; bản gốc còn kèm nhiệm vụ đoán câu tiếp theo (next sentence prediction). Nhờ mục tiêu này, BERT học được biểu diễn ngữ cảnh hai chiều. "GPT" được huấn luyện trước bằng mô hình ngôn ngữ nhân quả, đoán token tiếp theo từ các token đứng trước, không che token giữa câu. "LSTM" là một kiến trúc mạng hồi quy có ô nhớ và các cổng, không gắn với mục tiêu huấn luyện trước nào; nó có thể được huấn luyện cho đủ loại tác vụ. "GRU" cũng là kiến trúc hồi quy, đơn giản hơn LSTM với hai cổng, và cũng không phải mô hình được định nghĩa bởi tác vụ che từ.

Đáp án đúng: "Bidirectional context". BERT (Bidirectional Encoder Representations from Transformers) dùng bộ mã hoá Transformer với cơ chế self-attention cho phép mỗi token nhìn cả bên trái lẫn bên phải. Nó được huấn luyện bằng masked language modeling: che khoảng 15% token và dự đoán chúng từ cả hai phía, nên biểu diễn mang ngữ cảnh hai chiều. "Unidirectional context" là đặc điểm của mô hình ngôn ngữ tự hồi quy như GPT, chỉ nhìn các token phía trước để đoán token tiếp theo. "Random sampling" là kỹ thuật chọn token khi sinh văn bản hay lấy mẫu dữ liệu; việc chọn token để che trong BERT có yếu tố ngẫu nhiên nhưng đó không phải loại ngữ cảnh mô hình dùng. "Frequency analysis" là thống kê tần suất kiểu bag-of-words, không phải cơ chế biểu diễn của BERT.

Đáp án đúng: "Attention mechanism". Transformer là kiến trúc encoder-decoder dựa hoàn toàn vào cơ chế attention, đặc biệt là self-attention nhiều đầu (multi-head): mỗi token tính trọng số chú ý tới mọi token khác bằng query, key, value, nhờ đó nắm phụ thuộc xa và xử lý song song cả chuỗi, không cần hồi quy như RNN; vị trí từ được bổ sung bằng positional encoding. BERT và GPT đều xây trên kiến trúc này. "Convolution layers" là thành phần cốt lõi của CNN, trượt bộ lọc cục bộ trên dữ liệu, không phải nền tảng của Transformer. "Frequency filters" là khái niệm xử lý tín hiệu, lọc thành phần tần số của âm thanh hay ảnh, không thuộc kiến trúc Transformer. "Reinforcement learning" là một cách học bằng phần thưởng, có thể dùng để tinh chỉnh mô hình ngôn ngữ sau huấn luyện, nhưng không phải thành phần kiến trúc mà Transformer dùng.

Đáp án đúng: "Image". Summarization (tóm tắt) là chọn ra phần đại diện nhất của một tập dữ liệu; image summarization (tóm tắt ảnh) áp dụng ý này cho một bộ sưu tập ảnh, chẳng hạn chọn vài tấm tiêu biểu nhất từ album hàng trăm ảnh của một chuyến đi hoặc từ kết quả tìm kiếm ảnh, bằng cách gom các ảnh giống nhau và lấy ảnh trung tâm mỗi nhóm, tránh trùng lặp mà vẫn phủ đủ nội dung. Vì đối tượng được chọn là ảnh nên tập nguồn phải là bộ sưu tập ảnh. "Text" ứng với text summarization (tóm tắt văn bản), chọn hoặc sinh câu tiêu biểu từ tài liệu, không phải chọn ảnh. "Sound" là dữ liệu âm thanh, tóm tắt trên đó là chọn đoạn âm tiêu biểu chứ không phải ảnh. "Word" là đơn vị từ, một tập từ không chứa ảnh để chọn ra ảnh đại diện.

Đáp án đúng: "Bidirectional Encoder Representations from Transformers". BERT là mô hình ngôn ngữ do Google công bố năm 2018, chỉ dùng phần encoder của Transformer và học biểu diễn hai chiều: mỗi từ được mã hoá dựa vào cả ngữ cảnh bên trái lẫn bên phải. Mô hình được huấn luyện trước bằng masked language modeling (che ngẫu nhiên một số token rồi đoán lại) và next sentence prediction, sau đó tinh chỉnh cho phân loại, NER, hỏi đáp. "Binary Encoder for Recursive Trees" sai vì BERT không mã hoá nhị phân và không làm việc trên cây đệ quy mà trên chuỗi token. "Bayesian Embedding Representation Transformer" sai vì BERT không phải mô hình Bayes, chữ B là Bidirectional. "Best Encoder Representation Tokenizer" sai vì BERT là mô hình biểu diễn chứ không phải bộ tách từ; nó có dùng tokenizer WordPiece nhưng đó chỉ là bước tiền xử lý.