NLP301c - Phần 11: Dịch máy nơ-ron và cơ chế attention

Đáp án đúng: "5". Beam search giữ lại k chuỗi ứng viên có xác suất cao nhất ở mỗi bước giải mã thay vì chỉ giữ một như giải mã tham lam (greedy); k gọi là beam width (độ rộng chùm). Trong dịch máy nơ-ron, độ rộng chùm thường chỉ cỡ vài đơn vị, và 5 là giá trị mặc định hay gặp vì cân bằng giữa chất lượng và tốc độ: tăng chùm quá lớn hầu như không cải thiện BLEU, có khi còn sinh câu ngắn hơn, lại tốn thêm tính toán. Cần hiểu rằng beam search không bảo đảm tìm ra chuỗi tối ưu toàn cục với bất kỳ độ rộng nào; chữ optimal trong câu hỏi chỉ nên hiểu là cho kết quả tốt trong thực tế. "6", "7" và "8" đều là độ rộng dùng được nhưng không phải giá trị chuẩn thường được chọn làm mặc định; chúng làm tăng chi phí giải mã mà không đem lại lợi ích rõ rệt so với 5.

Đáp án đúng: "Mid 1930". Ý tưởng máy dịch có trước máy tính điện tử: giữa thập niên 1930, Georges Artsrouni ở Pháp và Petr Troyanskii ở Liên Xô gần như cùng lúc nộp bằng sáng chế cho các thiết bị cơ học tra từ điển song ngữ, được xem là những bằng sáng chế đầu tiên về máy dịch. "After 1945" là giai đoạn kế tiếp: bản ghi nhớ của Warren Weaver năm 1949 và thí nghiệm Georgetown–IBM năm 1954 mở đầu dịch máy trên máy tính điện tử, nhưng các bằng sáng chế đã có từ trước đó. "Mid 2000" là thời kỳ dịch máy thống kê phát triển mạnh, quá muộn so với các bằng sáng chế đầu tiên. "Before 1930" sai vì trước đó chưa có đơn đăng ký sáng chế máy dịch nào được ghi nhận; các đề xuất trước nữa về ngôn ngữ phổ quát chỉ là ý tưởng triết học chứ không phải thiết bị được cấp bằng.

Đáp án đúng: "Translation". BLEU (Bilingual Evaluation Understudy) là độ đo tự động cho dịch máy: nó tính tỷ lệ n-gram (thường từ 1 đến 4) của câu máy dịch trùng với một hay nhiều bản dịch tham chiếu do người viết, lấy trung bình nhân các độ chính xác này rồi nhân hệ số phạt độ ngắn (brevity penalty) để câu dịch quá ngắn không được điểm cao giả. "Speech" sai vì nhận dạng tiếng nói thường đo bằng WER (word error rate, tỷ lệ lỗi từ) dựa trên khoảng cách chỉnh sửa. "Classification" đo bằng accuracy, precision, recall, F1 trên nhãn dự đoán, không có khái niệm n-gram trùng khớp. "Parsing" đánh giá bằng độ chính xác cấu trúc cây, như PARSEVAL cho cú pháp thành phần hay UAS và LAS cho cú pháp phụ thuộc. BLEU về sau còn được mượn cho các bài toán sinh văn bản khác, nhưng mục đích gốc của nó là đánh giá bản dịch.

Đáp án đúng gồm ba ý: "It improves the interpretability of the model by highlighting which parts of the input contribute to the output", "It helps with the information bottleneck issue" và "It allows model to focus on the parts that matter more.". Trong mô hình encoder–decoder RNN thuần, cả câu nguồn bị nén vào một vectơ ngữ cảnh cố định, gây nút thắt thông tin (information bottleneck) khiến câu dài bị dịch kém; attention cho decoder ở mỗi bước tính trọng số trên mọi trạng thái ẩn của encoder rồi lấy tổng có trọng số, nên mô hình tập trung vào phần đầu vào liên quan nhất, và chính các trọng số đó vẽ được thành bản đồ căn chỉnh (alignment) cho thấy phần đầu vào nào góp vào đầu ra, giúp diễn giải mô hình. Chỗ dễ tranh cãi là phương án "It simplifies the model architecture by reducing the need for complex recurrent layers": việc bỏ hẳn tầng hồi quy là lợi ích của kiến trúc Transformer, vốn xây toàn bộ trên self-attention, chứ không phải lợi ích của attention nói chung; attention nguyên thuỷ được gắn thêm vào RNN, khiến kiến trúc phức tạp hơn chứ không đơn giản đi, nên phương án này không được chọn. Có người chỉ coi nút thắt thông tin và việc tập trung vào phần quan trọng là lợi ích cốt lõi, nhưng khả năng diễn giải qua trọng số attention cũng là lợi ích được thừa nhận rộng rãi nên vẫn được tính.

Đáp án đúng: "Machine Translation". BLEU (Bilingual Evaluation Understudy) so bản dịch máy với một hoặc nhiều bản dịch tham chiếu của người: nó tính độ chính xác n-gram có điều chỉnh (modified precision) cho n từ 1 tới 4, lấy trung bình nhân rồi nhân với hệ số phạt độ ngắn (brevity penalty) để bản dịch quá ngắn không ăn gian điểm; điểm càng gần 1 thì bản dịch càng khớp tham chiếu, vì vậy nó là độ đo tự động chuẩn của dịch máy. "Topic Modeling" thường được đánh giá bằng perplexity hoặc độ gắn kết chủ đề (topic coherence), không có bản tham chiếu để so n-gram. "Text Classification" dùng accuracy, precision, recall, F1 trên nhãn dự đoán. "Sentiment Analysis" là một dạng phân lớp nên cũng đo bằng accuracy hoặc F1, không cần so khớp câu sinh ra.

Đáp án đúng: "Recall-Oriented Understudy for Gisting Evaluation". ROUGE là bộ độ đo tự động đánh giá tóm tắt văn bản (gisting là nắm ý chính), so bản tóm tắt máy sinh với một hay nhiều bản tóm tắt tham chiếu của người: ROUGE-N đếm n-gram trùng nhau, ROUGE-L dựa trên chuỗi con chung dài nhất. Chữ recall-oriented nghĩa là nó chú trọng độ phủ, tức bao nhiêu phần nội dung tham chiếu được bản máy sinh tái hiện, khác với BLEU của dịch máy nghiêng về precision. "Recall-Oriented Understanding and Generation Evaluation" giữ đúng nửa đầu nhưng đổi Understudy thành Understanding and Generation, không phải tên gọi chuẩn. "Ranking Of Useful Generated Examples" là cách giải nghĩa bịa, ROUGE không xếp hạng ví dụ. "Reinforcement-Oriented Unsupervised Generation Estimator" cũng sai, ROUGE không liên quan học tăng cường mà là độ đo trùng lặp với tham chiếu.

Đáp án đúng: "RNN". Cơ chế attention được đưa vào NLP năm 2014 qua công trình Neural Machine Translation by Jointly Learning to Align and Translate của Bahdanau, Cho và Bengio: họ gắn attention vào mô hình dịch máy encoder–decoder dùng RNN, cho decoder ở mỗi bước nhìn lại mọi trạng thái ẩn của encoder thay vì chỉ một vectơ ngữ cảnh cố định. Nhiều người gắn attention với "Transformer", vì Transformer ra đời năm 2017 đã phổ biến self-attention và bỏ hẳn tầng hồi quy, nhưng đó là kiến trúc đến sau, xây hoàn toàn trên một cơ chế đã có từ trước; kiến trúc đầu tiên đưa ra attention là RNN encoder–decoder. "CNN" là mạng tích chập, nổi lên từ thị giác máy tính, không phải nơi attention được giới thiệu. "GRU" là chỗ dễ cãi nhất: mô hình của Bahdanau thật ra dùng chính loại tế bào hồi quy có cổng kiểu GRU, nhưng câu hỏi hỏi về kiến trúc, và GRU chỉ là một loại tế bào bên trong mạng hồi quy, còn kiến trúc chứa attention là bộ mã hoá–giải mã RNN, nên câu trả lời là họ kiến trúc RNN.