Câu hỏi: NLP301c Xử lý ngôn ngữ tự nhiên – Bộ ôn tập cuối kỳ số 2

Đáp án đúng: "5". Beam search giữ lại k chuỗi ứng viên có xác suất cao nhất ở mỗi bước giải mã thay vì chỉ giữ một như giải mã tham lam (greedy); k gọi là beam width (độ rộng chùm). Trong dịch máy nơ-ron, độ rộng chùm thường chỉ cỡ vài đơn vị, và 5 là giá trị mặc định hay gặp vì cân bằng giữa chất lượng và tốc độ: tăng chùm quá lớn hầu như không cải thiện BLEU, có khi còn sinh câu ngắn hơn, lại tốn thêm tính toán. Cần hiểu rằng beam search không bảo đảm tìm ra chuỗi tối ưu toàn cục với bất kỳ độ rộng nào; chữ optimal trong câu hỏi chỉ nên hiểu là cho kết quả tốt trong thực tế. "6", "7" và "8" đều là độ rộng dùng được nhưng không phải giá trị chuẩn thường được chọn làm mặc định; chúng làm tăng chi phí giải mã mà không đem lại lợi ích rõ rệt so với 5.

Đáp án đúng: "Mid 1930". Ý tưởng máy dịch có trước máy tính điện tử: giữa thập niên 1930, Georges Artsrouni ở Pháp và Petr Troyanskii ở Liên Xô gần như cùng lúc nộp bằng sáng chế cho các thiết bị cơ học tra từ điển song ngữ, được xem là những bằng sáng chế đầu tiên về máy dịch. "After 1945" là giai đoạn kế tiếp: bản ghi nhớ của Warren Weaver năm 1949 và thí nghiệm Georgetown–IBM năm 1954 mở đầu dịch máy trên máy tính điện tử, nhưng các bằng sáng chế đã có từ trước đó. "Mid 2000" là thời kỳ dịch máy thống kê phát triển mạnh, quá muộn so với các bằng sáng chế đầu tiên. "Before 1930" sai vì trước đó chưa có đơn đăng ký sáng chế máy dịch nào được ghi nhận; các đề xuất trước nữa về ngôn ngữ phổ quát chỉ là ý tưởng triết học chứ không phải thiết bị được cấp bằng.

Đáp án đúng: "Stemming". Thuật toán Porter Stemmer do Martin Porter công bố là bộ rút gọn gốc từ (stemming) cho tiếng Anh: nó áp lần lượt nhiều bước luật cắt và thay hậu tố, ví dụ "caresses" thành "caress", "relational" thành "relate", để gom các biến thể hình thái về cùng một gốc, giúp giảm kích thước từ vựng trong truy hồi thông tin. Gốc thu được có thể không phải từ có nghĩa. "Lemmatization" khác stemming ở chỗ dùng từ điển và thông tin từ loại để trả về lemma đúng chính tả, như "better" thành "good", việc mà Porter không làm được. "Syntax Analysis" (phân tích cú pháp) xác định cấu trúc câu và quan hệ giữa các từ, không đụng tới hậu tố của từng từ. "Part of speech tagging" (gán nhãn từ loại) gán nhãn như danh từ hay động từ cho mỗi token, thường bằng HMM hoặc mô hình học máy, cũng không phải nhiệm vụ của Porter.

Đáp án đúng: "Dependency Parsing and Constituency Parsing". Hai kỹ thuật phân tích cú pháp dựa trên ngữ pháp này cho ra cấu trúc câu: constituency parsing (phân tích thành phần) dựng cây cụm từ theo văn phạm phi ngữ cảnh nên nhận ra NP, VP; dependency parsing (phân tích phụ thuộc) nối từng từ với từ chi phối nó bằng quan hệ như nsubj (chủ ngữ) và dobj (tân ngữ), nên chỉ ra được chủ ngữ và tân ngữ. "Part of speech tagging" chỉ gán nhãn từ loại cho từng từ riêng lẻ, biết một từ là danh từ hay động từ nhưng không cho biết các từ gom thành cụm nào hay từ nào làm chủ ngữ. "Skip Gram and N-Gram extraction" là trích xuất đặc trưng: n-gram là chuỗi n từ liền nhau, skip-gram cho phép bỏ qua từ ở giữa, không mang cấu trúc ngữ pháp. "Continuous Bag of Words" là kiến trúc word2vec học vector từ bằng cách đoán từ giữa từ ngữ cảnh, dùng cho biểu diễn từ chứ không phải phân tích cú pháp.

Đáp án đúng: "Translation". BLEU (Bilingual Evaluation Understudy) là độ đo tự động cho dịch máy: nó tính tỷ lệ n-gram (thường từ 1 đến 4) của câu máy dịch trùng với một hay nhiều bản dịch tham chiếu do người viết, lấy trung bình nhân các độ chính xác này rồi nhân hệ số phạt độ ngắn (brevity penalty) để câu dịch quá ngắn không được điểm cao giả. "Speech" sai vì nhận dạng tiếng nói thường đo bằng WER (word error rate, tỷ lệ lỗi từ) dựa trên khoảng cách chỉnh sửa. "Classification" đo bằng accuracy, precision, recall, F1 trên nhãn dự đoán, không có khái niệm n-gram trùng khớp. "Parsing" đánh giá bằng độ chính xác cấu trúc cây, như PARSEVAL cho cú pháp thành phần hay UAS và LAS cho cú pháp phụ thuộc. BLEU về sau còn được mượn cho các bài toán sinh văn bản khác, nhưng mục đích gốc của nó là đánh giá bản dịch.

Đáp án đúng: "Lexical". Nhập nhằng từ vựng (lexical ambiguity) xảy ra khi một từ đơn lẻ có nhiều nghĩa hoặc nhiều từ loại: trong câu I saw bats, bats có thể là con dơi hoặc cây gậy đánh bóng, còn saw có thể là quá khứ của see (nhìn thấy) hoặc động từ cưa; câu chỉ có một cấu trúc chủ ngữ–động từ–tân ngữ, mọi cách hiểu khác nhau đều xuất phát từ nghĩa của từng từ. "Syntactic" sai vì nhập nhằng cú pháp cần một câu có nhiều cây phân tích, như I saw the man with the telescope, còn ở đây cây cú pháp là duy nhất. "Semantic" là nhập nhằng ở mức nghĩa của cả câu dù các từ đã rõ nghĩa, như phạm vi lượng từ trong every student read a book. "Anaphoric" cần một đại từ trỏ ngược về nhiều tiền ngữ khả dĩ, câu này không có đại từ hồi chỉ nào.

Đáp án đúng: "BERT". BERT (Bidirectional Encoder Representations from Transformers) dùng bộ mã hoá Transformer và được huấn luyện trước bằng mô hình ngôn ngữ che (masked language modeling): một số token bị che và mô hình phải đoán chúng dựa trên cả các từ bên trái lẫn bên phải, nên biểu diễn của mỗi từ mang ngữ cảnh hai chiều ngay trong một lần học. "GPT" là mô hình giải mã tự hồi quy, dùng mặt nạ nhân quả để mỗi token chỉ nhìn thấy các token đứng trước, tức ngữ cảnh một chiều trái sang phải. "Naive Bayes" là bộ phân loại xác suất coi các từ độc lập với nhau theo kiểu túi từ (bag of words), không mô hình hoá ngữ cảnh hay thứ tự. "RNN" chuẩn đọc chuỗi một chiều, trạng thái ẩn tại một vị trí chỉ tóm tắt phần đã đọc; muốn có hai chiều phải ghép thêm một RNN chạy ngược thành Bidirectional RNN, đó là một biến thể chứ không phải tính chất của RNN nói chung.

Đáp án đúng: "Modern NLP algorithms are largely based on machine learning, particularly statistical machine learning techniques.". Từ cuối thập niên 1980, NLP chuyển từ luật viết tay sang học từ ngữ liệu: các mô hình n-gram, HMM, Naive Bayes, CRF ước lượng tham số từ dữ liệu, và ngày nay mạng nơ-ron sâu như Transformer, BERT, GPT cũng là học máy thống kê trên ngữ liệu khổng lồ. Hệ thống tự học quy luật từ dữ liệu thay vì để chuyên gia mã hoá từng luật. "Modern NLP algorithms primarily rely on rule-based systems and linguistic dictionaries." mô tả đúng giai đoạn đầu của NLP; luật và từ điển ngày nay chỉ còn là thành phần phụ trợ, như danh sách stop words hay lexicon cảm xúc. "Modern NLP algorithms exclusively use symbolic logic and knowledge representation." mô tả trường phái AI biểu tượng; chữ exclusively khiến nó sai vì NLP hiện đại chủ yếu là học máy. "solely dependent on pre-programmed grammatical structures without any learning from data" đi ngược hẳn bản chất học từ dữ liệu của NLP hiện đại.

Đáp án đúng: "5". Thuật toán Porter Stemmer (Martin Porter, 1980) cắt hậu tố tiếng Anh qua năm bước tuần tự, mỗi bước là một nhóm luật thay thế có điều kiện dựa trên số đo m (số cặp nguyên âm và phụ âm trong phần gốc). Bước 1 xử lý số nhiều và -ed, -ing (được chia nhỏ thành 1a, 1b, 1c), bước 2 và bước 3 rút gọn các hậu tố phái sinh kép như -ational thành -ate, -alize thành -al, bước 4 bỏ các hậu tố như -ance, -ment, -ive khi gốc đủ dài, bước 5 dọn chữ e cuối và phụ âm đôi ll. "4" và "3" quá ít, bỏ sót các bước; con số này chỉ xuất hiện khi gộp vài nhóm luật lại với nhau. "6" có thể đến từ việc tách một bước con thành bước riêng, nhưng theo mô tả gốc các phần con 1a, 1b, 1c hay 5a, 5b vẫn thuộc năm bước chính.

Đáp án đúng: "All of the others". Bộ phân lớp văn bản chỉ tốt bằng đặc trưng đầu vào, và cả bốn loại được nêu đều là đặc trưng thường dùng để tăng độ chính xác. "Frequency count of terms" là đếm tần suất từ theo mô hình túi từ (bag-of-words) hay trọng số TF-IDF, cho biết văn bản nói nhiều về điều gì. "Vector Notation of sentence" là biểu diễn câu bằng vectơ, như trung bình word embedding hoặc vectơ câu từ mô hình ngôn ngữ, mang thông tin ngữ nghĩa mà đếm từ bỏ sót. "Part of Speech Tag" bổ sung nhãn từ loại, giúp phân biệt book danh từ với book động từ hay nhận ra tính từ mang cảm xúc. "Dependency Grammar" cho quan hệ phụ thuộc giữa các từ, ví dụ not bổ nghĩa cho good, giúp bắt được phủ định và ai làm gì với ai. Vì từng loại đều đúng nên mỗi phương án đơn lẻ chỉ là một phần, chọn phương án gộp mới đầy đủ.

Đáp án đúng: "Morphological and Lexical Analysis". Đây là mức phân tích đầu tiên trong chuỗi xử lý NLP: phân tích từ vựng (lexical analysis) chia văn bản thô thành đoạn, câu và từ, còn phân tích hình thái (morphological analysis) xét cấu trúc bên trong của từ như gốc, tiền tố, hậu tố; cả hai làm việc trên từ đơn lẻ trước khi xét cú pháp hay nghĩa. "Semantic Analysis" (phân tích ngữ nghĩa) diễn ra muộn hơn, gán nghĩa cho từ và câu đã có cấu trúc, chứ không làm nhiệm vụ cắt văn bản. "Quantifiers" là lượng từ như "all", "some", "every", một hiện tượng ngôn ngữ cần xử lý trong biểu diễn ngữ nghĩa và logic vị từ, không phải một giai đoạn phân tích. "None of the others" sai vì đã có một mức phân tích đúng với mô tả tách đoạn, câu và từ.

Đáp án đúng: "Morphological Processing". Morphology (hình thái học) nghiên cứu cấu tạo bên trong của từ, tức cách từ được ghép từ các hình vị (morpheme) như gốc, tiền tố, hậu tố: unhappiness gồm un, happy, ness. Ở mức xử lý này, hệ thống tách và phân tích hình vị, làm cơ sở cho stemming, lemmatization và nhận biết biến thể từ. "Syntax Processing" (xử lý cú pháp) làm việc ở mức trên từ, xét cách các từ sắp xếp thành cụm và câu theo ngữ pháp, chứ không nhìn vào bên trong một từ. "Parser" là một công cụ hay thành phần phần mềm thực hiện phân tích cú pháp, không phải tên một ngành nghiên cứu cấu trúc từ. "Semantic Processing" (xử lý ngữ nghĩa) quan tâm đến nghĩa của từ và câu, không phải cách từ được cấu tạo từ các hình vị.

Đáp án đúng: "Featured-based or neural sequence labelling techniques.". NER (named entity recognition, nhận dạng thực thể có tên) thường được mô hình hoá như bài toán gán nhãn chuỗi: mỗi token nhận một nhãn theo lược đồ BIO như B-PER, I-PER hay O. Bài toán được giải bằng kỹ thuật dựa trên đặc trưng như CRF (conditional random field) với đặc trưng chữ hoa, hậu tố, từ điển tên, hoặc bằng mạng nơ-ron như BiLSTM-CRF hay Transformer tinh chỉnh. "Viterbi Algorithm" chỉ là thuật toán giải mã tìm chuỗi nhãn tốt nhất bên trong HMM hay CRF, không tự nhận dạng thực thể. "Hidden Markov Model" là một mô hình gán nhãn chuỗi từng dùng cho NER thời kỳ đầu, nhưng chỉ là một trường hợp cụ thể và yếu hơn vì khó đưa đặc trưng phong phú vào; phương án đúng nêu cả họ kỹ thuật. "Maximum Likelihood Estimation" là phương pháp ước lượng tham số mô hình từ dữ liệu, không phải kỹ thuật nhận dạng hay phân loại thực thể.

Đáp án đúng: "Next word". Mô hình ngôn ngữ (language model) gán xác suất cho chuỗi từ bằng quy tắc nhân xác suất, P(w1…wn) là tích các P(wi | w1…wi−1), nên nhiệm vụ cốt lõi của nó là dự đoán từ kế tiếp khi biết các từ đứng trước; mô hình n-gram ước lượng xác suất đó từ số đếm, còn RNN hay GPT học nó bằng mạng nơ-ron. "Next character" đúng với mô hình ngôn ngữ mức ký tự, một biến thể riêng, nhưng không phải định nghĩa chung của mô hình ngôn ngữ vốn lấy từ hay token làm đơn vị. "Next sentence" là một bài toán phụ, như mục tiêu next sentence prediction của BERT, chỉ phân loại hai câu có liền nhau hay không chứ không sinh câu. "Topic" là đầu ra của mô hình chủ đề như LDA, không dự đoán phần tiếp theo của chuỗi.

Đáp án đúng: "HMM". Hidden Markov Model (mô hình Markov ẩn) là một mô hình thống kê cụ thể, rất phổ biến trong NLP truyền thống: nó coi nhãn (như từ loại) là chuỗi trạng thái ẩn theo giả định Markov và từ là quan sát sinh ra từ trạng thái, được dùng cho gán nhãn từ loại, nhận dạng thực thể, nhận dạng tiếng nói, giải mã bằng thuật toán Viterbi. "Stochastic" là tính từ "ngẫu nhiên", mô tả một hướng tiếp cận dựa trên xác suất nói chung, không phải tên một mô hình. "Hybrid" chỉ hướng tiếp cận lai, kết hợp luật viết tay với thống kê, cũng là một chiến lược chứ không phải mô hình thống kê. "Lengustic" ám chỉ hướng tiếp cận dựa trên tri thức ngôn ngữ học và luật, vốn là đối cực của cách tiếp cận thống kê, nên không thể là mô hình thống kê được dùng thường xuyên.

Đáp án đúng: "Both CBOW and Skip-gram are shallow neural network models". word2vec có hai kiến trúc: CBOW đoán từ trung tâm từ các từ ngữ cảnh, Skip-gram đoán từ ngữ cảnh từ từ trung tâm; cả hai là mạng nông chỉ gồm lớp vào, một lớp chiếu (projection) tuyến tính và lớp ra softmax, ma trận trọng số học được chính là vector từ. "The architecture of word2vec consists of only two layers - continuous bag of words and skip-gram model" sai vì CBOW và skip-gram là hai mô hình thay thế nhau, chọn một trong hai khi huấn luyện, chứ không phải hai lớp xếp chồng của một mạng. "Continuous bag of word (CBOW) is a Recurrent Neural Network model" sai vì CBOW không có kết nối hồi quy, nó lấy trung bình vector ngữ cảnh và bỏ qua thứ tự từ, đúng như chữ bag of words. "All of the others" sai vì hai phát biểu vừa bác là sai, chỉ một phát biểu đúng.

Đáp án đúng: "Part-of-speech tagging.". Duck có thể là danh từ (con vịt) hoặc động từ (cúi né) và chỉ ngữ cảnh mới quyết định, như trong câu I saw her duck. POS tagging (gán nhãn từ loại) gán cho mỗi từ trong câu một nhãn như NN hay VB dựa trên các từ xung quanh, bằng HMM, CRF hay mạng nơ-ron, nên giải đúng loại nhập nhằng từ loại này. "Lexical analysis" là mức tách từ, nhận diện từ vựng và hình thái; nó có thể cho biết duck có hai từ loại khả dĩ trong từ điển nhưng không chọn từ loại theo ngữ cảnh. "Semantic analysis" xử lý nghĩa của câu, đứng sau bước xác định từ loại và dựa vào kết quả đó. "Pragmatic analysis" diễn giải ý định của người nói trong tình huống, là mức cao nhất, không phải nơi xác định một từ là danh từ hay động từ.

Đáp án đúng: "Representation". Trong NLP, thành phần hiểu ngôn ngữ tự nhiên (NLU) phải ánh xạ câu đầu vào thành một biểu diễn (representation) mà máy xử lý được, như cây cú pháp, dạng logic, khung ngữ nghĩa hay vectơ nhúng, rồi thành phần sinh ngôn ngữ (NLG) đi ngược từ biểu diễn đó ra câu chữ; vì vậy biểu diễn là thành phần quan trọng, hiểu theo đúng nghĩa biến đầu vào thành cấu trúc bên trong chứ không phải nghĩa trình bày thông thường. "Description" là văn miêu tả, một thể loại văn bản tả người, vật, cảnh. "Exposion" chỉ kiểu văn thuyết minh, giải thích một vấn đề. "Narration" là văn tự sự, kể lại chuỗi sự kiện. Các thể loại văn bản như vậy là đối tượng mà NLP có thể xử lý, không phải thành phần cấu tạo nên một hệ NLP.

Đáp án đúng: "Survivors". Thuật toán Viterbi là quy hoạch động để tìm chuỗi trạng thái ẩn có xác suất cao nhất trong HMM; tại mỗi bước thời gian, với từng trạng thái, nó chỉ giữ lại một đường đi tốt nhất dẫn tới trạng thái đó (lưu xác suất lớn nhất cùng con trỏ quay lui) và loại bỏ mọi đường đi kém hơn. Những đường đi được giữ lại ấy gọi là đường sống sót (survivor paths), và khi tới bước cuối, lần ngược theo con trỏ của survivor tốt nhất sẽ ra chuỗi nhãn tối ưu. "Defenders" không phải thuật ngữ dùng trong Viterbi hay lý thuyết giải mã. "Destroyers" cũng không có nghĩa kỹ thuật nào; các đường bị loại chỉ đơn giản là bị bỏ, không có tên riêng. "Carriers" trong viễn thông chỉ sóng mang, còn trong Viterbi không có khái niệm này để gọi các đường được chọn.