Tất cả câu hỏi

Đáp án đúng: "Infinity". Perplexity đo mức một mô hình ngôn ngữ bị bất ngờ trước tập kiểm thử, bằng nghịch đảo xác suất của chuỗi kiểm thử lấy căn bậc N, với N là số từ. Mô hình không làm trơn ước lượng P(từ | lịch sử) bằng tỉ lệ đếm trong dữ liệu huấn luyện, nên từ chưa thấy (unseen word) có đếm bằng 0 và xác suất bằng 0; chỉ một thừa số 0 cũng làm cả tích bằng 0, và nghịch đảo của 0 là vô cực, vì thế perplexity bằng vô cực. Đây là lý do mô hình thực tế luôn làm trơn hoặc dùng token UNK. "0" sai vì perplexity có cận dưới là 1, đạt được khi mô hình gán xác suất 1 cho mọi từ đúng, không bao giờ về 0. "any non-zero value" quá chung chung, không nêu được hệ quả cụ thể của xác suất 0. "None of the mentioned" sai vì vô cực đã có trong các lựa chọn và là kết quả chính xác.

Đáp án đúng: "1 and 3". Chuẩn hoá từ khoá là đưa các biến thể về một dạng gốc: lemmatization (từ nguyên hoá) dùng từ điển và từ loại để trả về dạng từ điển (better thành good, studies thành study), còn stemming (cắt gốc) cắt hậu tố theo luật như Porter (connected thành connect); cả hai đều làm các dạng khác nhau của một từ khớp nhau khi tìm kiếm hay đếm. Levenshtein là khoảng cách chỉnh sửa, đếm số thao tác chèn, xoá, thay ký tự để biến chuỗi này thành chuỗi kia, dùng sửa lỗi chính tả hay so khớp mờ, không trả về dạng gốc. Soundex mã hoá từ theo cách phát âm (Robert và Rupert cùng mã R163) để so khớp tên đọc giống nhau. Do đó "1 and 2" sai vì kèm Levenshtein, "2 and 4" sai vì cả hai đều là kỹ thuật so khớp chuỗi chứ không chuẩn hoá, và "1, 2 and 3" sai vì thêm Levenshtein vào.

Đáp án đúng: "FSA". FSA (finite state automaton, ôtômat hữu hạn trạng thái) đọc một chuỗi và chỉ trả lời chấp nhận hay không, tức nhận diện một tập chuỗi. FST (finite state transducer, bộ chuyển đổi hữu hạn trạng thái) mở rộng FSA bằng cách gắn cặp ký hiệu vào và ra trên mỗi cung, nên nó ánh xạ giữa hai mức biểu diễn, như từ dạng bề mặt cats sang dạng từ vựng cat +N +PL. Nhờ đó FST được dùng trong hình thái học hai mức để biểu diễn từ điển (lexicon) cùng luật chính tả. "FST" không thể là đáp án vì một khái niệm không thể là phiên bản nâng cao của chính nó. "DAWG" (directed acyclic word graph) là cấu trúc nén để lưu tập từ và tra cứu nhanh, chỉ nhận diện từ chứ không chuyển đổi. "Stemmer Algorithm" như Porter cắt hậu tố bằng luật kinh nghiệm, không phải loại ôtômat mà FST được mở rộng ra.

Đáp án đúng: "Syntax Analysis". Syntax analysis (phân tích cú pháp, còn gọi parsing) kiểm tra cách sắp xếp từ trong câu theo quy tắc ngữ pháp và dựng cấu trúc cho thấy từ nào quan hệ với từ nào; thứ tự từ quan trọng vì The dog bit the man và The man bit the dog dùng cùng các từ nhưng nghĩa khác hẳn, còn chuỗi bit dog the man the thì bị bác vì sai cú pháp. "Semantic Analysis" (phân tích ngữ nghĩa) lấy nghĩa của từ và câu, kiểm tra câu có hợp nghĩa hay không, như colorless green ideas đúng ngữ pháp nhưng vô nghĩa. "Lexical Analysis" (phân tích từ vựng) làm việc ở mức từ đơn lẻ: tách văn bản thành từ, đoạn, câu và nhận biết cấu trúc của từ, chưa xét thứ tự giữa các từ. "Pragmatic Analysis" (phân tích ngữ dụng) xét cách ngữ cảnh giao tiếp và ý định người nói chi phối cách hiểu câu.

Đáp án đúng: "Survivors". Thuật toán Viterbi là quy hoạch động để tìm chuỗi trạng thái ẩn có xác suất cao nhất trong HMM; tại mỗi bước thời gian, với từng trạng thái, nó chỉ giữ lại một đường đi tốt nhất dẫn tới trạng thái đó (lưu xác suất lớn nhất cùng con trỏ quay lui) và loại bỏ mọi đường đi kém hơn. Những đường đi được giữ lại ấy gọi là đường sống sót (survivor paths), và khi tới bước cuối, lần ngược theo con trỏ của survivor tốt nhất sẽ ra chuỗi nhãn tối ưu. "Defenders" không phải thuật ngữ dùng trong Viterbi hay lý thuyết giải mã. "Destroyers" cũng không có nghĩa kỹ thuật nào; các đường bị loại chỉ đơn giản là bị bỏ, không có tên riêng. "Carriers" trong viễn thông chỉ sóng mang, còn trong Viterbi không có khái niệm này để gọi các đường được chọn.

Đáp án đúng: "Representation". Trong NLP, thành phần hiểu ngôn ngữ tự nhiên (NLU) phải ánh xạ câu đầu vào thành một biểu diễn (representation) mà máy xử lý được, như cây cú pháp, dạng logic, khung ngữ nghĩa hay vectơ nhúng, rồi thành phần sinh ngôn ngữ (NLG) đi ngược từ biểu diễn đó ra câu chữ; vì vậy biểu diễn là thành phần quan trọng, hiểu theo đúng nghĩa biến đầu vào thành cấu trúc bên trong chứ không phải nghĩa trình bày thông thường. "Description" là văn miêu tả, một thể loại văn bản tả người, vật, cảnh. "Exposion" chỉ kiểu văn thuyết minh, giải thích một vấn đề. "Narration" là văn tự sự, kể lại chuỗi sự kiện. Các thể loại văn bản như vậy là đối tượng mà NLP có thể xử lý, không phải thành phần cấu tạo nên một hệ NLP.

Đáp án đúng: "Part-of-speech tagging.". Duck có thể là danh từ (con vịt) hoặc động từ (cúi né) và chỉ ngữ cảnh mới quyết định, như trong câu I saw her duck. POS tagging (gán nhãn từ loại) gán cho mỗi từ trong câu một nhãn như NN hay VB dựa trên các từ xung quanh, bằng HMM, CRF hay mạng nơ-ron, nên giải đúng loại nhập nhằng từ loại này. "Lexical analysis" là mức tách từ, nhận diện từ vựng và hình thái; nó có thể cho biết duck có hai từ loại khả dĩ trong từ điển nhưng không chọn từ loại theo ngữ cảnh. "Semantic analysis" xử lý nghĩa của câu, đứng sau bước xác định từ loại và dựa vào kết quả đó. "Pragmatic analysis" diễn giải ý định của người nói trong tình huống, là mức cao nhất, không phải nơi xác định một từ là danh từ hay động từ.

Đáp án đúng: "Both CBOW and Skip-gram are shallow neural network models". word2vec có hai kiến trúc: CBOW đoán từ trung tâm từ các từ ngữ cảnh, Skip-gram đoán từ ngữ cảnh từ từ trung tâm; cả hai là mạng nông chỉ gồm lớp vào, một lớp chiếu (projection) tuyến tính và lớp ra softmax, ma trận trọng số học được chính là vector từ. "The architecture of word2vec consists of only two layers - continuous bag of words and skip-gram model" sai vì CBOW và skip-gram là hai mô hình thay thế nhau, chọn một trong hai khi huấn luyện, chứ không phải hai lớp xếp chồng của một mạng. "Continuous bag of word (CBOW) is a Recurrent Neural Network model" sai vì CBOW không có kết nối hồi quy, nó lấy trung bình vector ngữ cảnh và bỏ qua thứ tự từ, đúng như chữ bag of words. "All of the others" sai vì hai phát biểu vừa bác là sai, chỉ một phát biểu đúng.

Đáp án đúng: "HMM". Hidden Markov Model (mô hình Markov ẩn) là một mô hình thống kê cụ thể, rất phổ biến trong NLP truyền thống: nó coi nhãn (như từ loại) là chuỗi trạng thái ẩn theo giả định Markov và từ là quan sát sinh ra từ trạng thái, được dùng cho gán nhãn từ loại, nhận dạng thực thể, nhận dạng tiếng nói, giải mã bằng thuật toán Viterbi. "Stochastic" là tính từ "ngẫu nhiên", mô tả một hướng tiếp cận dựa trên xác suất nói chung, không phải tên một mô hình. "Hybrid" chỉ hướng tiếp cận lai, kết hợp luật viết tay với thống kê, cũng là một chiến lược chứ không phải mô hình thống kê. "Lengustic" ám chỉ hướng tiếp cận dựa trên tri thức ngôn ngữ học và luật, vốn là đối cực của cách tiếp cận thống kê, nên không thể là mô hình thống kê được dùng thường xuyên.

Đáp án đúng: "Next word". Mô hình ngôn ngữ (language model) gán xác suất cho chuỗi từ bằng quy tắc nhân xác suất, P(w1…wn) là tích các P(wi | w1…wi−1), nên nhiệm vụ cốt lõi của nó là dự đoán từ kế tiếp khi biết các từ đứng trước; mô hình n-gram ước lượng xác suất đó từ số đếm, còn RNN hay GPT học nó bằng mạng nơ-ron. "Next character" đúng với mô hình ngôn ngữ mức ký tự, một biến thể riêng, nhưng không phải định nghĩa chung của mô hình ngôn ngữ vốn lấy từ hay token làm đơn vị. "Next sentence" là một bài toán phụ, như mục tiêu next sentence prediction của BERT, chỉ phân loại hai câu có liền nhau hay không chứ không sinh câu. "Topic" là đầu ra của mô hình chủ đề như LDA, không dự đoán phần tiếp theo của chuỗi.

Đáp án đúng: "Featured-based or neural sequence labelling techniques.". NER (named entity recognition, nhận dạng thực thể có tên) thường được mô hình hoá như bài toán gán nhãn chuỗi: mỗi token nhận một nhãn theo lược đồ BIO như B-PER, I-PER hay O. Bài toán được giải bằng kỹ thuật dựa trên đặc trưng như CRF (conditional random field) với đặc trưng chữ hoa, hậu tố, từ điển tên, hoặc bằng mạng nơ-ron như BiLSTM-CRF hay Transformer tinh chỉnh. "Viterbi Algorithm" chỉ là thuật toán giải mã tìm chuỗi nhãn tốt nhất bên trong HMM hay CRF, không tự nhận dạng thực thể. "Hidden Markov Model" là một mô hình gán nhãn chuỗi từng dùng cho NER thời kỳ đầu, nhưng chỉ là một trường hợp cụ thể và yếu hơn vì khó đưa đặc trưng phong phú vào; phương án đúng nêu cả họ kỹ thuật. "Maximum Likelihood Estimation" là phương pháp ước lượng tham số mô hình từ dữ liệu, không phải kỹ thuật nhận dạng hay phân loại thực thể.

Đáp án đúng: "Morphological Processing". Morphology (hình thái học) nghiên cứu cấu tạo bên trong của từ, tức cách từ được ghép từ các hình vị (morpheme) như gốc, tiền tố, hậu tố: unhappiness gồm un, happy, ness. Ở mức xử lý này, hệ thống tách và phân tích hình vị, làm cơ sở cho stemming, lemmatization và nhận biết biến thể từ. "Syntax Processing" (xử lý cú pháp) làm việc ở mức trên từ, xét cách các từ sắp xếp thành cụm và câu theo ngữ pháp, chứ không nhìn vào bên trong một từ. "Parser" là một công cụ hay thành phần phần mềm thực hiện phân tích cú pháp, không phải tên một ngành nghiên cứu cấu trúc từ. "Semantic Processing" (xử lý ngữ nghĩa) quan tâm đến nghĩa của từ và câu, không phải cách từ được cấu tạo từ các hình vị.

Đáp án đúng: "Morphological and Lexical Analysis". Đây là mức phân tích đầu tiên trong chuỗi xử lý NLP: phân tích từ vựng (lexical analysis) chia văn bản thô thành đoạn, câu và từ, còn phân tích hình thái (morphological analysis) xét cấu trúc bên trong của từ như gốc, tiền tố, hậu tố; cả hai làm việc trên từ đơn lẻ trước khi xét cú pháp hay nghĩa. "Semantic Analysis" (phân tích ngữ nghĩa) diễn ra muộn hơn, gán nghĩa cho từ và câu đã có cấu trúc, chứ không làm nhiệm vụ cắt văn bản. "Quantifiers" là lượng từ như "all", "some", "every", một hiện tượng ngôn ngữ cần xử lý trong biểu diễn ngữ nghĩa và logic vị từ, không phải một giai đoạn phân tích. "None of the others" sai vì đã có một mức phân tích đúng với mô tả tách đoạn, câu và từ.

Đáp án đúng: "All of the others". Bộ phân lớp văn bản chỉ tốt bằng đặc trưng đầu vào, và cả bốn loại được nêu đều là đặc trưng thường dùng để tăng độ chính xác. "Frequency count of terms" là đếm tần suất từ theo mô hình túi từ (bag-of-words) hay trọng số TF-IDF, cho biết văn bản nói nhiều về điều gì. "Vector Notation of sentence" là biểu diễn câu bằng vectơ, như trung bình word embedding hoặc vectơ câu từ mô hình ngôn ngữ, mang thông tin ngữ nghĩa mà đếm từ bỏ sót. "Part of Speech Tag" bổ sung nhãn từ loại, giúp phân biệt book danh từ với book động từ hay nhận ra tính từ mang cảm xúc. "Dependency Grammar" cho quan hệ phụ thuộc giữa các từ, ví dụ not bổ nghĩa cho good, giúp bắt được phủ định và ai làm gì với ai. Vì từng loại đều đúng nên mỗi phương án đơn lẻ chỉ là một phần, chọn phương án gộp mới đầy đủ.

Đáp án đúng: "5". Thuật toán Porter Stemmer (Martin Porter, 1980) cắt hậu tố tiếng Anh qua năm bước tuần tự, mỗi bước là một nhóm luật thay thế có điều kiện dựa trên số đo m (số cặp nguyên âm và phụ âm trong phần gốc). Bước 1 xử lý số nhiều và -ed, -ing (được chia nhỏ thành 1a, 1b, 1c), bước 2 và bước 3 rút gọn các hậu tố phái sinh kép như -ational thành -ate, -alize thành -al, bước 4 bỏ các hậu tố như -ance, -ment, -ive khi gốc đủ dài, bước 5 dọn chữ e cuối và phụ âm đôi ll. "4" và "3" quá ít, bỏ sót các bước; con số này chỉ xuất hiện khi gộp vài nhóm luật lại với nhau. "6" có thể đến từ việc tách một bước con thành bước riêng, nhưng theo mô tả gốc các phần con 1a, 1b, 1c hay 5a, 5b vẫn thuộc năm bước chính.

Đáp án đúng: "Modern NLP algorithms are largely based on machine learning, particularly statistical machine learning techniques.". Từ cuối thập niên 1980, NLP chuyển từ luật viết tay sang học từ ngữ liệu: các mô hình n-gram, HMM, Naive Bayes, CRF ước lượng tham số từ dữ liệu, và ngày nay mạng nơ-ron sâu như Transformer, BERT, GPT cũng là học máy thống kê trên ngữ liệu khổng lồ. Hệ thống tự học quy luật từ dữ liệu thay vì để chuyên gia mã hoá từng luật. "Modern NLP algorithms primarily rely on rule-based systems and linguistic dictionaries." mô tả đúng giai đoạn đầu của NLP; luật và từ điển ngày nay chỉ còn là thành phần phụ trợ, như danh sách stop words hay lexicon cảm xúc. "Modern NLP algorithms exclusively use symbolic logic and knowledge representation." mô tả trường phái AI biểu tượng; chữ exclusively khiến nó sai vì NLP hiện đại chủ yếu là học máy. "solely dependent on pre-programmed grammatical structures without any learning from data" đi ngược hẳn bản chất học từ dữ liệu của NLP hiện đại.

Đáp án đúng: "BERT". BERT (Bidirectional Encoder Representations from Transformers) dùng bộ mã hoá Transformer và được huấn luyện trước bằng mô hình ngôn ngữ che (masked language modeling): một số token bị che và mô hình phải đoán chúng dựa trên cả các từ bên trái lẫn bên phải, nên biểu diễn của mỗi từ mang ngữ cảnh hai chiều ngay trong một lần học. "GPT" là mô hình giải mã tự hồi quy, dùng mặt nạ nhân quả để mỗi token chỉ nhìn thấy các token đứng trước, tức ngữ cảnh một chiều trái sang phải. "Naive Bayes" là bộ phân loại xác suất coi các từ độc lập với nhau theo kiểu túi từ (bag of words), không mô hình hoá ngữ cảnh hay thứ tự. "RNN" chuẩn đọc chuỗi một chiều, trạng thái ẩn tại một vị trí chỉ tóm tắt phần đã đọc; muốn có hai chiều phải ghép thêm một RNN chạy ngược thành Bidirectional RNN, đó là một biến thể chứ không phải tính chất của RNN nói chung.

Đáp án đúng: "Lexical". Nhập nhằng từ vựng (lexical ambiguity) xảy ra khi một từ đơn lẻ có nhiều nghĩa hoặc nhiều từ loại: trong câu I saw bats, bats có thể là con dơi hoặc cây gậy đánh bóng, còn saw có thể là quá khứ của see (nhìn thấy) hoặc động từ cưa; câu chỉ có một cấu trúc chủ ngữ–động từ–tân ngữ, mọi cách hiểu khác nhau đều xuất phát từ nghĩa của từng từ. "Syntactic" sai vì nhập nhằng cú pháp cần một câu có nhiều cây phân tích, như I saw the man with the telescope, còn ở đây cây cú pháp là duy nhất. "Semantic" là nhập nhằng ở mức nghĩa của cả câu dù các từ đã rõ nghĩa, như phạm vi lượng từ trong every student read a book. "Anaphoric" cần một đại từ trỏ ngược về nhiều tiền ngữ khả dĩ, câu này không có đại từ hồi chỉ nào.

Đáp án đúng: "Translation". BLEU (Bilingual Evaluation Understudy) là độ đo tự động cho dịch máy: nó tính tỷ lệ n-gram (thường từ 1 đến 4) của câu máy dịch trùng với một hay nhiều bản dịch tham chiếu do người viết, lấy trung bình nhân các độ chính xác này rồi nhân hệ số phạt độ ngắn (brevity penalty) để câu dịch quá ngắn không được điểm cao giả. "Speech" sai vì nhận dạng tiếng nói thường đo bằng WER (word error rate, tỷ lệ lỗi từ) dựa trên khoảng cách chỉnh sửa. "Classification" đo bằng accuracy, precision, recall, F1 trên nhãn dự đoán, không có khái niệm n-gram trùng khớp. "Parsing" đánh giá bằng độ chính xác cấu trúc cây, như PARSEVAL cho cú pháp thành phần hay UAS và LAS cho cú pháp phụ thuộc. BLEU về sau còn được mượn cho các bài toán sinh văn bản khác, nhưng mục đích gốc của nó là đánh giá bản dịch.

Đáp án đúng: "Dependency Parsing and Constituency Parsing". Hai kỹ thuật phân tích cú pháp dựa trên ngữ pháp này cho ra cấu trúc câu: constituency parsing (phân tích thành phần) dựng cây cụm từ theo văn phạm phi ngữ cảnh nên nhận ra NP, VP; dependency parsing (phân tích phụ thuộc) nối từng từ với từ chi phối nó bằng quan hệ như nsubj (chủ ngữ) và dobj (tân ngữ), nên chỉ ra được chủ ngữ và tân ngữ. "Part of speech tagging" chỉ gán nhãn từ loại cho từng từ riêng lẻ, biết một từ là danh từ hay động từ nhưng không cho biết các từ gom thành cụm nào hay từ nào làm chủ ngữ. "Skip Gram and N-Gram extraction" là trích xuất đặc trưng: n-gram là chuỗi n từ liền nhau, skip-gram cho phép bỏ qua từ ở giữa, không mang cấu trúc ngữ pháp. "Continuous Bag of Words" là kiến trúc word2vec học vector từ bằng cách đoán từ giữa từ ngữ cảnh, dùng cho biểu diễn từ chứ không phải phân tích cú pháp.