Tất cả câu hỏi

Đáp án đúng: "HMM". Hidden Markov Model (mô hình Markov ẩn) là một mô hình thống kê cụ thể, rất phổ biến trong NLP truyền thống: nó coi nhãn (như từ loại) là chuỗi trạng thái ẩn theo giả định Markov và từ là quan sát sinh ra từ trạng thái, được dùng cho gán nhãn từ loại, nhận dạng thực thể, nhận dạng tiếng nói, giải mã bằng thuật toán Viterbi. "Stochastic" là tính từ "ngẫu nhiên", mô tả một hướng tiếp cận dựa trên xác suất nói chung, không phải tên một mô hình. "Hybrid" chỉ hướng tiếp cận lai, kết hợp luật viết tay với thống kê, cũng là một chiến lược chứ không phải mô hình thống kê. "Lengustic" ám chỉ hướng tiếp cận dựa trên tri thức ngôn ngữ học và luật, vốn là đối cực của cách tiếp cận thống kê, nên không thể là mô hình thống kê được dùng thường xuyên.

Đáp án đúng: "Next word". Mô hình ngôn ngữ (language model) gán xác suất cho chuỗi từ bằng quy tắc nhân xác suất, P(w1…wn) là tích các P(wi | w1…wi−1), nên nhiệm vụ cốt lõi của nó là dự đoán từ kế tiếp khi biết các từ đứng trước; mô hình n-gram ước lượng xác suất đó từ số đếm, còn RNN hay GPT học nó bằng mạng nơ-ron. "Next character" đúng với mô hình ngôn ngữ mức ký tự, một biến thể riêng, nhưng không phải định nghĩa chung của mô hình ngôn ngữ vốn lấy từ hay token làm đơn vị. "Next sentence" là một bài toán phụ, như mục tiêu next sentence prediction của BERT, chỉ phân loại hai câu có liền nhau hay không chứ không sinh câu. "Topic" là đầu ra của mô hình chủ đề như LDA, không dự đoán phần tiếp theo của chuỗi.

Đáp án đúng: "Featured-based or neural sequence labelling techniques.". NER (named entity recognition, nhận dạng thực thể có tên) thường được mô hình hoá như bài toán gán nhãn chuỗi: mỗi token nhận một nhãn theo lược đồ BIO như B-PER, I-PER hay O. Bài toán được giải bằng kỹ thuật dựa trên đặc trưng như CRF (conditional random field) với đặc trưng chữ hoa, hậu tố, từ điển tên, hoặc bằng mạng nơ-ron như BiLSTM-CRF hay Transformer tinh chỉnh. "Viterbi Algorithm" chỉ là thuật toán giải mã tìm chuỗi nhãn tốt nhất bên trong HMM hay CRF, không tự nhận dạng thực thể. "Hidden Markov Model" là một mô hình gán nhãn chuỗi từng dùng cho NER thời kỳ đầu, nhưng chỉ là một trường hợp cụ thể và yếu hơn vì khó đưa đặc trưng phong phú vào; phương án đúng nêu cả họ kỹ thuật. "Maximum Likelihood Estimation" là phương pháp ước lượng tham số mô hình từ dữ liệu, không phải kỹ thuật nhận dạng hay phân loại thực thể.

Đáp án đúng: "Morphological Processing". Morphology (hình thái học) nghiên cứu cấu tạo bên trong của từ, tức cách từ được ghép từ các hình vị (morpheme) như gốc, tiền tố, hậu tố: unhappiness gồm un, happy, ness. Ở mức xử lý này, hệ thống tách và phân tích hình vị, làm cơ sở cho stemming, lemmatization và nhận biết biến thể từ. "Syntax Processing" (xử lý cú pháp) làm việc ở mức trên từ, xét cách các từ sắp xếp thành cụm và câu theo ngữ pháp, chứ không nhìn vào bên trong một từ. "Parser" là một công cụ hay thành phần phần mềm thực hiện phân tích cú pháp, không phải tên một ngành nghiên cứu cấu trúc từ. "Semantic Processing" (xử lý ngữ nghĩa) quan tâm đến nghĩa của từ và câu, không phải cách từ được cấu tạo từ các hình vị.

Đáp án đúng: "Morphological and Lexical Analysis". Đây là mức phân tích đầu tiên trong chuỗi xử lý NLP: phân tích từ vựng (lexical analysis) chia văn bản thô thành đoạn, câu và từ, còn phân tích hình thái (morphological analysis) xét cấu trúc bên trong của từ như gốc, tiền tố, hậu tố; cả hai làm việc trên từ đơn lẻ trước khi xét cú pháp hay nghĩa. "Semantic Analysis" (phân tích ngữ nghĩa) diễn ra muộn hơn, gán nghĩa cho từ và câu đã có cấu trúc, chứ không làm nhiệm vụ cắt văn bản. "Quantifiers" là lượng từ như "all", "some", "every", một hiện tượng ngôn ngữ cần xử lý trong biểu diễn ngữ nghĩa và logic vị từ, không phải một giai đoạn phân tích. "None of the others" sai vì đã có một mức phân tích đúng với mô tả tách đoạn, câu và từ.

Đáp án đúng: "All of the others". Bộ phân lớp văn bản chỉ tốt bằng đặc trưng đầu vào, và cả bốn loại được nêu đều là đặc trưng thường dùng để tăng độ chính xác. "Frequency count of terms" là đếm tần suất từ theo mô hình túi từ (bag-of-words) hay trọng số TF-IDF, cho biết văn bản nói nhiều về điều gì. "Vector Notation of sentence" là biểu diễn câu bằng vectơ, như trung bình word embedding hoặc vectơ câu từ mô hình ngôn ngữ, mang thông tin ngữ nghĩa mà đếm từ bỏ sót. "Part of Speech Tag" bổ sung nhãn từ loại, giúp phân biệt book danh từ với book động từ hay nhận ra tính từ mang cảm xúc. "Dependency Grammar" cho quan hệ phụ thuộc giữa các từ, ví dụ not bổ nghĩa cho good, giúp bắt được phủ định và ai làm gì với ai. Vì từng loại đều đúng nên mỗi phương án đơn lẻ chỉ là một phần, chọn phương án gộp mới đầy đủ.

Đáp án đúng: "5". Thuật toán Porter Stemmer (Martin Porter, 1980) cắt hậu tố tiếng Anh qua năm bước tuần tự, mỗi bước là một nhóm luật thay thế có điều kiện dựa trên số đo m (số cặp nguyên âm và phụ âm trong phần gốc). Bước 1 xử lý số nhiều và -ed, -ing (được chia nhỏ thành 1a, 1b, 1c), bước 2 và bước 3 rút gọn các hậu tố phái sinh kép như -ational thành -ate, -alize thành -al, bước 4 bỏ các hậu tố như -ance, -ment, -ive khi gốc đủ dài, bước 5 dọn chữ e cuối và phụ âm đôi ll. "4" và "3" quá ít, bỏ sót các bước; con số này chỉ xuất hiện khi gộp vài nhóm luật lại với nhau. "6" có thể đến từ việc tách một bước con thành bước riêng, nhưng theo mô tả gốc các phần con 1a, 1b, 1c hay 5a, 5b vẫn thuộc năm bước chính.

Đáp án đúng: "Modern NLP algorithms are largely based on machine learning, particularly statistical machine learning techniques.". Từ cuối thập niên 1980, NLP chuyển từ luật viết tay sang học từ ngữ liệu: các mô hình n-gram, HMM, Naive Bayes, CRF ước lượng tham số từ dữ liệu, và ngày nay mạng nơ-ron sâu như Transformer, BERT, GPT cũng là học máy thống kê trên ngữ liệu khổng lồ. Hệ thống tự học quy luật từ dữ liệu thay vì để chuyên gia mã hoá từng luật. "Modern NLP algorithms primarily rely on rule-based systems and linguistic dictionaries." mô tả đúng giai đoạn đầu của NLP; luật và từ điển ngày nay chỉ còn là thành phần phụ trợ, như danh sách stop words hay lexicon cảm xúc. "Modern NLP algorithms exclusively use symbolic logic and knowledge representation." mô tả trường phái AI biểu tượng; chữ exclusively khiến nó sai vì NLP hiện đại chủ yếu là học máy. "solely dependent on pre-programmed grammatical structures without any learning from data" đi ngược hẳn bản chất học từ dữ liệu của NLP hiện đại.

Đáp án đúng: "BERT". BERT (Bidirectional Encoder Representations from Transformers) dùng bộ mã hoá Transformer và được huấn luyện trước bằng mô hình ngôn ngữ che (masked language modeling): một số token bị che và mô hình phải đoán chúng dựa trên cả các từ bên trái lẫn bên phải, nên biểu diễn của mỗi từ mang ngữ cảnh hai chiều ngay trong một lần học. "GPT" là mô hình giải mã tự hồi quy, dùng mặt nạ nhân quả để mỗi token chỉ nhìn thấy các token đứng trước, tức ngữ cảnh một chiều trái sang phải. "Naive Bayes" là bộ phân loại xác suất coi các từ độc lập với nhau theo kiểu túi từ (bag of words), không mô hình hoá ngữ cảnh hay thứ tự. "RNN" chuẩn đọc chuỗi một chiều, trạng thái ẩn tại một vị trí chỉ tóm tắt phần đã đọc; muốn có hai chiều phải ghép thêm một RNN chạy ngược thành Bidirectional RNN, đó là một biến thể chứ không phải tính chất của RNN nói chung.

Đáp án đúng: "Lexical". Nhập nhằng từ vựng (lexical ambiguity) xảy ra khi một từ đơn lẻ có nhiều nghĩa hoặc nhiều từ loại: trong câu I saw bats, bats có thể là con dơi hoặc cây gậy đánh bóng, còn saw có thể là quá khứ của see (nhìn thấy) hoặc động từ cưa; câu chỉ có một cấu trúc chủ ngữ–động từ–tân ngữ, mọi cách hiểu khác nhau đều xuất phát từ nghĩa của từng từ. "Syntactic" sai vì nhập nhằng cú pháp cần một câu có nhiều cây phân tích, như I saw the man with the telescope, còn ở đây cây cú pháp là duy nhất. "Semantic" là nhập nhằng ở mức nghĩa của cả câu dù các từ đã rõ nghĩa, như phạm vi lượng từ trong every student read a book. "Anaphoric" cần một đại từ trỏ ngược về nhiều tiền ngữ khả dĩ, câu này không có đại từ hồi chỉ nào.

Đáp án đúng: "Translation". BLEU (Bilingual Evaluation Understudy) là độ đo tự động cho dịch máy: nó tính tỷ lệ n-gram (thường từ 1 đến 4) của câu máy dịch trùng với một hay nhiều bản dịch tham chiếu do người viết, lấy trung bình nhân các độ chính xác này rồi nhân hệ số phạt độ ngắn (brevity penalty) để câu dịch quá ngắn không được điểm cao giả. "Speech" sai vì nhận dạng tiếng nói thường đo bằng WER (word error rate, tỷ lệ lỗi từ) dựa trên khoảng cách chỉnh sửa. "Classification" đo bằng accuracy, precision, recall, F1 trên nhãn dự đoán, không có khái niệm n-gram trùng khớp. "Parsing" đánh giá bằng độ chính xác cấu trúc cây, như PARSEVAL cho cú pháp thành phần hay UAS và LAS cho cú pháp phụ thuộc. BLEU về sau còn được mượn cho các bài toán sinh văn bản khác, nhưng mục đích gốc của nó là đánh giá bản dịch.

Đáp án đúng: "Dependency Parsing and Constituency Parsing". Hai kỹ thuật phân tích cú pháp dựa trên ngữ pháp này cho ra cấu trúc câu: constituency parsing (phân tích thành phần) dựng cây cụm từ theo văn phạm phi ngữ cảnh nên nhận ra NP, VP; dependency parsing (phân tích phụ thuộc) nối từng từ với từ chi phối nó bằng quan hệ như nsubj (chủ ngữ) và dobj (tân ngữ), nên chỉ ra được chủ ngữ và tân ngữ. "Part of speech tagging" chỉ gán nhãn từ loại cho từng từ riêng lẻ, biết một từ là danh từ hay động từ nhưng không cho biết các từ gom thành cụm nào hay từ nào làm chủ ngữ. "Skip Gram and N-Gram extraction" là trích xuất đặc trưng: n-gram là chuỗi n từ liền nhau, skip-gram cho phép bỏ qua từ ở giữa, không mang cấu trúc ngữ pháp. "Continuous Bag of Words" là kiến trúc word2vec học vector từ bằng cách đoán từ giữa từ ngữ cảnh, dùng cho biểu diễn từ chứ không phải phân tích cú pháp.

Đáp án đúng: "Stemming". Thuật toán Porter Stemmer do Martin Porter công bố là bộ rút gọn gốc từ (stemming) cho tiếng Anh: nó áp lần lượt nhiều bước luật cắt và thay hậu tố, ví dụ "caresses" thành "caress", "relational" thành "relate", để gom các biến thể hình thái về cùng một gốc, giúp giảm kích thước từ vựng trong truy hồi thông tin. Gốc thu được có thể không phải từ có nghĩa. "Lemmatization" khác stemming ở chỗ dùng từ điển và thông tin từ loại để trả về lemma đúng chính tả, như "better" thành "good", việc mà Porter không làm được. "Syntax Analysis" (phân tích cú pháp) xác định cấu trúc câu và quan hệ giữa các từ, không đụng tới hậu tố của từng từ. "Part of speech tagging" (gán nhãn từ loại) gán nhãn như danh từ hay động từ cho mỗi token, thường bằng HMM hoặc mô hình học máy, cũng không phải nhiệm vụ của Porter.

Đáp án đúng: "Mid 1930". Ý tưởng máy dịch có trước máy tính điện tử: giữa thập niên 1930, Georges Artsrouni ở Pháp và Petr Troyanskii ở Liên Xô gần như cùng lúc nộp bằng sáng chế cho các thiết bị cơ học tra từ điển song ngữ, được xem là những bằng sáng chế đầu tiên về máy dịch. "After 1945" là giai đoạn kế tiếp: bản ghi nhớ của Warren Weaver năm 1949 và thí nghiệm Georgetown–IBM năm 1954 mở đầu dịch máy trên máy tính điện tử, nhưng các bằng sáng chế đã có từ trước đó. "Mid 2000" là thời kỳ dịch máy thống kê phát triển mạnh, quá muộn so với các bằng sáng chế đầu tiên. "Before 1930" sai vì trước đó chưa có đơn đăng ký sáng chế máy dịch nào được ghi nhận; các đề xuất trước nữa về ngôn ngữ phổ quát chỉ là ý tưởng triết học chứ không phải thiết bị được cấp bằng.

Đáp án đúng: "5". Beam search giữ lại k chuỗi ứng viên có xác suất cao nhất ở mỗi bước giải mã thay vì chỉ giữ một như giải mã tham lam (greedy); k gọi là beam width (độ rộng chùm). Trong dịch máy nơ-ron, độ rộng chùm thường chỉ cỡ vài đơn vị, và 5 là giá trị mặc định hay gặp vì cân bằng giữa chất lượng và tốc độ: tăng chùm quá lớn hầu như không cải thiện BLEU, có khi còn sinh câu ngắn hơn, lại tốn thêm tính toán. Cần hiểu rằng beam search không bảo đảm tìm ra chuỗi tối ưu toàn cục với bất kỳ độ rộng nào; chữ optimal trong câu hỏi chỉ nên hiểu là cho kết quả tốt trong thực tế. "6", "7" và "8" đều là độ rộng dùng được nhưng không phải giá trị chuẩn thường được chọn làm mặc định; chúng làm tăng chi phí giải mã mà không đem lại lợi ích rõ rệt so với 5.

Đáp án đúng: "1,2,5,3,4". Quy trình dựng bộ phân loại văn bản đi theo luồng dữ liệu: trước hết làm sạch văn bản (bỏ ký tự rác, chuẩn hoá chữ hoa thường, bỏ stop words), sau đó gán nhãn lớp cho từng văn bản để có dữ liệu huấn luyện, tiếp đến biến văn bản thành biến dự báo dạng số (bag of words, TF-IDF hoặc embedding), rồi mới huấn luyện bằng gradient descent, cuối cùng tinh chỉnh siêu tham số như tốc độ học hay mức điều chuẩn. "1,2,3,4,5" sai vì chạy gradient descent và tinh chỉnh trước khi có đặc trưng số, mà thuật toán tối ưu không làm việc trực tiếp trên chuỗi ký tự. "1,3,4,2,5" sai vì huấn luyện xong mới gán nhãn, trong khi học có giám sát cần nhãn để tính hàm mất mát. "1,3,4,5,2" sai vì để gán nhãn ở bước cuối, tức huấn luyện và tinh chỉnh mà không có nhãn lẫn đặc trưng đúng thứ tự.

Đáp án đúng: "Declarations". Theo phân loại hành động ngôn từ (speech act) của Searle, declarations (tuyên bố) là những phát ngôn mà chỉ cần nói ra trong đúng thẩm quyền là làm thay đổi thực tế thể chế, như bổ nhiệm, tuyên án, tuyên bố kết hôn. Câu "I appoint you chairman of the committee" do người có quyền nói ra thì lập tức khiến người nghe trở thành chủ tịch ủy ban, nên là tuyên bố. "Commissives" (cam kết) ràng buộc chính người nói vào một hành động tương lai, như hứa hay thề, còn ở đây người nói không hứa làm gì. "Directives" (cầu khiến) cố khiến người nghe làm một việc, như ra lệnh hay yêu cầu, trong khi câu bổ nhiệm không đòi người nghe hành động mà tự nó tạo ra kết quả. "Representatives" (trình bày) mô tả trạng thái thế giới và có thể đúng hoặc sai, như khẳng định hay kể lại, còn câu bổ nhiệm không đúng không sai mà chỉ thành công hoặc không.

Đáp án đúng: "Hyponymy, Homonymy, Polysemy". Phân tích ngữ nghĩa (semantic analysis) xét nghĩa của từ và quan hệ giữa các nghĩa, và ba quan hệ từ vựng cơ bản đều thuộc phần này: hyponymy (quan hệ hạ vị, như rose là một loại flower), homonymy (đồng âm khác nghĩa, các nghĩa không liên quan như bank bờ sông và bank ngân hàng) và polysemy (đa nghĩa, một từ có nhiều nghĩa liên quan như head của người và head của tổ chức). Vì cả ba đều là thành phần của phân tích ngữ nghĩa nên chỉ phương án liệt kê đủ cả ba mới đúng. "Hyponymy" đúng nhưng thiếu, nó chỉ là quan hệ bao hàm giữa khái niệm rộng và hẹp. "Homonymy" cũng đúng nhưng chỉ mô tả trường hợp trùng hình thức mà khác nghĩa. "Polysemy" cũng chỉ là một quan hệ trong số đó, nói về nhiều nghĩa có liên hệ của cùng một từ.

Đáp án đúng: "All of the others". Quá trình hiểu ngôn ngữ thường được chia thành năm giai đoạn: phân tích hình thái và từ vựng (tách từ, nhận diện gốc và phụ tố), phân tích cú pháp (cấu trúc câu), phân tích ngữ nghĩa (nghĩa của câu), tích hợp diễn ngôn (liên kết câu với các câu trước, như xác định đại từ trỏ tới ai) và phân tích ngữ dụng (ý định thực trong hoàn cảnh). "Morphological and Lexical Analysis" là giai đoạn đầu, đúng nhưng chưa đủ. "Syntactic Analysis and Semantic Analysis" là hai giai đoạn giữa, cũng đúng nhưng chỉ là một phần. "Discourse Integration, Pragmatic Analysis" là hai giai đoạn cuối, đúng nhưng thiếu các mức phân tích bên dưới. Mỗi phương án riêng lẻ chỉ nêu một đoạn của chuỗi, nên phương án gộp mới mô tả đầy đủ các thành phần của NLP.

Đáp án đúng: "closed-class morphemes". Hình thái học chia hình vị (morpheme) tự do thành hai nhóm: content morphemes (hình vị nội dung) mang nghĩa từ vựng như danh từ, động từ, tính từ, và function morphemes (hình vị chức năng) mang nghĩa ngữ pháp như mạo từ the, giới từ of, liên từ and, đại từ. Nhóm chức năng gần như không nhận thêm thành viên mới theo thời gian nên được gọi là lớp đóng, closed class. "open-class morphemes" là tên của nhóm hình vị nội dung, vì ngôn ngữ liên tục sinh danh từ, động từ mới như selfie hay google, tức là ngược lại với hình vị chức năng. "sub-class morphemes" không phải thuật ngữ của hình thái học, không có cách phân lớp nào mang tên này. "super-class morphemes" cũng không phải thuật ngữ ngôn ngữ học, chỉ là phương án nhiễu đặt tên theo mẫu.