Câu hỏi: NLP301c Xử lý ngôn ngữ tự nhiên – Bộ ôn tập cuối kỳ số 1

Đáp án đúng: "Linearly Separable". Hai dòng mô tả đúng khái niệm khả tách tuyến tính (linearly separable): mạng một tầng như perceptron chỉ vẽ được một siêu phẳng quyết định w·x + b = 0, nên nó chỉ học được khi dữ liệu các lớp có thể chia bằng một đường thẳng hay siêu phẳng; ví dụ hàm XOR không khả tách tuyến tính nên perceptron một tầng thất bại, phải thêm tầng ẩn với hàm kích hoạt phi tuyến. "Neural Networks" là chủ đề chung quá rộng, các dòng mô tả không định nghĩa mạng nơ-ron mà nói về điều kiện dữ liệu của mạng một tầng. "Distance measure of similarity" là các độ đo khoảng cách như Euclid hay cosine dùng so độ giống nhau, không liên quan tới số tầng của mạng. "Eigenvalue Formula" là công thức trị riêng của đại số tuyến tính, dùng trong PCA, không phải khái niệm được mô tả.

Đáp án đúng: "Topic Modeling". Học không giám sát (unsupervised learning) tìm cấu trúc trong dữ liệu không có nhãn. Topic modeling, ví dụ LDA hay NMF, chỉ nhận một tập văn bản thô và tự khám phá các chủ đề ẩn dưới dạng phân phối trên từ vựng, không cần ai gán sẵn chủ đề cho tài liệu. "POS Tagging" (gán nhãn từ loại) thường được huấn luyện có giám sát trên ngữ liệu đã gán nhãn như Penn Treebank, dù có những biến thể không giám sát ít phổ biến. "NER" (nhận dạng thực thể có tên) cần dữ liệu huấn luyện có đánh dấu sẵn tên người, tổ chức, địa điểm, nên là bài toán gán nhãn chuỗi có giám sát. "Text Classification" (phân loại văn bản) học từ các tài liệu đã có nhãn lớp như thư rác hay không, tích cực hay tiêu cực, nên là học có giám sát điển hình.

Đáp án đúng: "1,2,5,3,4". Quy trình dựng bộ phân loại văn bản đi theo luồng dữ liệu: trước hết làm sạch văn bản (bỏ ký tự rác, chuẩn hoá chữ hoa thường, bỏ stop words), sau đó gán nhãn lớp cho từng văn bản để có dữ liệu huấn luyện, tiếp đến biến văn bản thành biến dự báo dạng số (bag of words, TF-IDF hoặc embedding), rồi mới huấn luyện bằng gradient descent, cuối cùng tinh chỉnh siêu tham số như tốc độ học hay mức điều chuẩn. "1,2,3,4,5" sai vì chạy gradient descent và tinh chỉnh trước khi có đặc trưng số, mà thuật toán tối ưu không làm việc trực tiếp trên chuỗi ký tự. "1,3,4,2,5" sai vì huấn luyện xong mới gán nhãn, trong khi học có giám sát cần nhãn để tính hàm mất mát. "1,3,4,5,2" sai vì để gán nhãn ở bước cuối, tức huấn luyện và tinh chỉnh mà không có nhãn lẫn đặc trưng đúng thứ tự.

Đáp án đúng gồm hai ý: "Symmetric many-to-many RNN" và "Asymmetric many-to-many RNN". NER (nhận diện thực thể có tên) nhận vào một chuỗi từ và trả ra nhãn thực thể, nên cần kiến trúc nhiều vào nhiều ra. Nếu dự đoán một nhãn cho mỗi token, độ dài đầu ra bằng độ dài đầu vào, như John lives in Paris thành B-PER O O B-LOC, thì dùng many-to-many đối xứng, ở mỗi bước thời gian RNN đọc một từ và xuất ngay một nhãn. Nếu sinh lại câu đã gắn nhãn, đầu ra có thể dài khác đầu vào vì chèn thêm thẻ, thì dùng many-to-many bất đối xứng dạng encoder-decoder (seq2seq): encoder đọc hết câu rồi decoder sinh chuỗi kết quả. "One-to-one RNN" nhận một đầu vào và cho một đầu ra, thực chất là mạng truyền thẳng thường, không xử lý được chuỗi từ. "Many-to-one RNN" đọc cả chuỗi nhưng chỉ xuất một nhãn cho toàn câu, hợp với phân loại cảm xúc, không gán nhãn được cho từng thực thể.

Đáp án đúng: "Neural network". Mô tả gồm các nơ-ron mô phỏng nối với nhau, có lớp đầu vào với mỗi đặc trưng một đầu vào, một hay nhiều lớp ẩn và lớp đầu ra với mỗi biến mục tiêu một đầu ra, chính là định nghĩa chung của mạng nơ-ron nhân tạo (artificial neural network) trong học máy, kiến thức nền dùng cho NLP. "Feedforeword network" (mạng truyền thẳng) là một loại mạng nơ-ron trong đó tín hiệu chỉ đi một chiều từ đầu vào ra đầu ra; cấu trúc được tả không mâu thuẫn với nó, nhưng mô tả không nêu đặc điểm phân biệt là không có chu trình, nên khái niệm khớp nhất là mạng nơ-ron nói chung. "Recurrent network" có kết nối hồi quy đưa trạng thái ẩn của bước trước vào bước sau để xử lý chuỗi, điều mô tả không hề nhắc tới. "What needs to be chosen?" không phải tên mô hình mà là câu hỏi về việc chọn kiến trúc, số lớp, số nơ-ron, nên không trả lời định nghĩa.

Đáp án đúng: "It performs extensive analysis of linguistic phenomena through explicit representation of facts about language and well-understood knowledge representation schemas and associated algorithms.". Cách tiếp cận ký hiệu (symbolic approach) là hướng dựa trên luật và tri thức: con người mã hoá tường minh các sự kiện về ngôn ngữ thành luật ngữ pháp, từ điển, lược đồ biểu diễn tri thức, rồi dùng thuật toán suy diễn hay phân tích trên đó, như các hệ phân tích cú pháp theo văn phạm phi ngữ cảnh viết tay. Phương án mở đầu "This component transfers linear sequences of words into structures" mô tả phân tích cú pháp kèm nghĩa đen, tức một thành phần xử lý trong hệ NLP chứ không phải một cách tiếp cận. Phương án nói "harnesses various mathematical techniques and often uses large text corpora" mô tả cách tiếp cận thống kê, học mô hình xấp xỉ từ dữ liệu thật thay vì luật viết tay. Phương án nói "based on the interconnection of networks having simple processing units" mô tả cách tiếp cận kết nối (connectionist), tức mạng nơ-ron lưu tri thức trong trọng số, ngược với biểu diễn tường minh của hướng ký hiệu.

Đáp án đúng: "Convolutional Neural Networks". Đa nghĩa (polysemy) là khi một từ như "bank" có nhiều nghĩa, và nghĩa đúng chỉ xác định được nhờ các từ xung quanh. Mạng tích chập trên văn bản trượt các bộ lọc qua cửa sổ vài từ liên tiếp, nên đặc trưng sinh ra cho một vị trí phụ thuộc vào cả từ đó lẫn láng giềng, ví dụ cụm "river bank" và "bank account" kích hoạt bộ lọc khác nhau; trong các lựa chọn, đây là mô hình duy nhất học được biểu diễn theo ngữ cảnh cục bộ. Cần nói rõ hướng giải quyết đa nghĩa triệt để nhất hiện nay là embedding ngữ cảnh như ELMo hay BERT, nhưng chúng không có trong danh sách. "Random Forest Classifier" làm việc trên vectơ đặc trưng cố định như túi từ, mỗi từ một cột duy nhất bất kể nghĩa nào. "Gradient Boosting" cũng là tổ hợp cây quyết định trên đặc trưng cố định, không mô hình hoá ngữ cảnh. "All of these" sai vì hai mô hình cây không phân biệt được các nghĩa của cùng một từ.

Đáp án đúng: "Single discrete random variable". Hidden Markov Model là mô hình xác suất theo thời gian, trong đó trạng thái của quá trình tại mỗi thời điểm được mô tả bằng một biến ngẫu nhiên rời rạc duy nhất, nhận giá trị trong một tập hữu hạn trạng thái ẩn, ví dụ tập nhãn từ loại trong gán nhãn từ loại; nhờ vậy xác suất chuyển trạng thái biểu diễn được bằng một ma trận chuyển. "Single random variable" quá rộng vì không nói biến rời rạc, nếu trạng thái là biến liên tục thì mô hình trở thành bộ lọc Kalman hay hệ động lực tuyến tính chứ không phải HMM. "Literal" (hằng mệnh đề) là khái niệm của logic, như một biến mệnh đề hay phủ định của nó, không dùng để mô tả trạng thái của quá trình ngẫu nhiên. "None of the mentioned" sai vì đã có mô tả chính xác là một biến ngẫu nhiên rời rạc duy nhất.

Đáp án đúng: "Symbolic, Statistical, Connectionist and Hybrid". Hướng tiếp cận (approach) là cách xây hệ thống NLP: hướng ký hiệu (symbolic) dùng luật và tri thức do chuyên gia viết; hướng thống kê (statistical) học xác suất từ kho ngữ liệu như n-gram, HMM; hướng kết nối (connectionist) dùng mạng nơ-ron học biểu diễn từ dữ liệu; hướng lai (hybrid) kết hợp các hướng trên. "Morphological and Lexical Analysis,Syntactic Analysis, Semantic Analysis,Discourse Integration, Pragmatic Analysis" là các mức hay giai đoạn phân tích ngôn ngữ, tức thành phần của bài toán, chứ không phải cách tiếp cận để giải nó; hướng tiếp cận nào cũng có thể áp ở từng mức. "Machine Learning, Deep Learning & AI" là các lĩnh vực: AI bao trùm NLP, còn học máy và học sâu tương ứng với hướng thống kê và kết nối, nhưng danh sách này bỏ qua hướng ký hiệu và hướng lai nên không phải phân loại chuẩn. "None of the others" sai vì đã có phân loại đúng.

Đáp án đúng: "N gram and Naive bayes". Bộ gán nhãn HMM chọn chuỗi nhãn t1…tn làm cực đại tích các P(wi | ti) × P(ti | ti−1): thừa số P(ti | ti−1) là xác suất chuyển trạng thái, chính là một mô hình bigram trên chuỗi nhãn, còn P(wi | ti) là xác suất phát ra (emission), tính đúng theo kiểu likelihood của Naive Bayes khi áp dụng định lý Bayes và giả định mỗi từ chỉ phụ thuộc nhãn của nó. Vì vậy công thức HMM là sự kết hợp giữa n-gram và Naive Bayes. "Logistic regression" là mô hình phân biệt (discriminative) ước lượng trực tiếp xác suất nhãn khi biết đặc trưng, gần với MEMM hay CRF chứ không phải HMM vốn là mô hình sinh. "SVM" tìm siêu phẳng có lề cực đại, không có xác suất chuyển hay xác suất phát ra nào. "Euclidean distance between words" là độ đo khoảng cách giữa vectơ, không xuất hiện trong công thức xác suất của HMM.

Đáp án đúng: "Bidirectional context". BERT (Bidirectional Encoder Representations from Transformers) dùng bộ mã hoá Transformer với cơ chế self-attention cho phép mỗi token nhìn cả bên trái lẫn bên phải. Nó được huấn luyện bằng masked language modeling: che khoảng 15% token và dự đoán chúng từ cả hai phía, nên biểu diễn mang ngữ cảnh hai chiều. "Unidirectional context" là đặc điểm của mô hình ngôn ngữ tự hồi quy như GPT, chỉ nhìn các token phía trước để đoán token tiếp theo. "Random sampling" là kỹ thuật chọn token khi sinh văn bản hay lấy mẫu dữ liệu; việc chọn token để che trong BERT có yếu tố ngẫu nhiên nhưng đó không phải loại ngữ cảnh mô hình dùng. "Frequency analysis" là thống kê tần suất kiểu bag-of-words, không phải cơ chế biểu diễn của BERT.

Đáp án đúng: "Chunking". Chunking (phân đoạn nông, shallow parsing) là quá trình trích các cụm từ như cụm danh từ, cụm động từ từ văn bản phi cấu trúc và gán thêm cấu trúc cho nó; thường làm sau khi đã tách token và gán nhãn từ loại, rồi dùng luật hoặc biểu thức chính quy trên nhãn, ví dụ RegexpParser của NLTK với mẫu NP gồm DT? JJ* NN, để gom "the big dog" thành một cụm danh từ mà không dựng cả cây cú pháp đầy đủ. "Rooting" không phải thuật ngữ chuẩn của NLP. "Steaming" gần với stemming, việc cắt hậu tố để đưa từng từ về gốc, chỉ làm việc trên một từ chứ không trích cụm. "Lemmatization" đưa từ về dạng từ điển bằng từ điển và thông tin từ loại, cũng là chuẩn hoá từng từ riêng lẻ, không gom các từ thành cụm có cấu trúc.

Đáp án đúng: "Both a & c". NLP gặp nhập nhằng ở mọi tầng phân tích: lexical (một từ nhiều nghĩa như bank), syntactical (một câu nhiều cây cú pháp như I saw the man with the telescope), semantical (nghĩa câu có nhiều cách hiểu), discourse (đại từ trỏ về đâu qua nhiều câu) và pragmatic (ý định người nói, như Can you pass the salt là lời nhờ chứ không phải câu hỏi về khả năng). Phương án gộp này tương đương lấy cả "Lexical and syntactical" lẫn "Semantical, discourse and Pragmatic", nên bao trọn các loại nhập nhằng mà NLP phải giải. Riêng "Lexical and syntactical" chỉ nêu hai tầng thấp, bỏ sót nhập nhằng ngữ nghĩa, diễn ngôn và ngữ dụng. Riêng "Semantical, discourse and Pragmatic" chỉ nêu các tầng cao, bỏ sót tầng từ vựng và cú pháp. "NLP does not face any ambiguity" sai hoàn toàn, vì nhập nhằng chính là khó khăn trung tâm của NLP.

Đáp án đúng: "Both CBOW and Skip-gram are shallow neural network models". word2vec có hai kiến trúc: CBOW đoán từ trung tâm từ các từ ngữ cảnh, Skip-gram đoán từ ngữ cảnh từ từ trung tâm; cả hai là mạng nông chỉ gồm lớp vào, một lớp chiếu (projection) tuyến tính và lớp ra softmax, ma trận trọng số học được chính là vector từ. "The architecture of word2vec consists of only two layers - continuous bag of words and skip-gram model" sai vì CBOW và skip-gram là hai mô hình thay thế nhau, chọn một trong hai khi huấn luyện, chứ không phải hai lớp xếp chồng của một mạng. "Continuous bag of word (CBOW) is a Recurrent Neural Network model" sai vì CBOW không có kết nối hồi quy, nó lấy trung bình vector ngữ cảnh và bỏ qua thứ tự từ, đúng như chữ bag of words. "All of the others" sai vì hai phát biểu vừa bác là sai, chỉ một phát biểu đúng.

Đáp án đúng: "Recall-Oriented Understudy for Gisting Evaluation". ROUGE là bộ độ đo tự động đánh giá tóm tắt văn bản (gisting là nắm ý chính), so bản tóm tắt máy sinh với một hay nhiều bản tóm tắt tham chiếu của người: ROUGE-N đếm n-gram trùng nhau, ROUGE-L dựa trên chuỗi con chung dài nhất. Chữ recall-oriented nghĩa là nó chú trọng độ phủ, tức bao nhiêu phần nội dung tham chiếu được bản máy sinh tái hiện, khác với BLEU của dịch máy nghiêng về precision. "Recall-Oriented Understanding and Generation Evaluation" giữ đúng nửa đầu nhưng đổi Understudy thành Understanding and Generation, không phải tên gọi chuẩn. "Ranking Of Useful Generated Examples" là cách giải nghĩa bịa, ROUGE không xếp hạng ví dụ. "Reinforcement-Oriented Unsupervised Generation Estimator" cũng sai, ROUGE không liên quan học tăng cường mà là độ đo trùng lặp với tham chiếu.

Đáp án đúng: "Bidirectional Encoder Representations from Transformers". BERT là mô hình ngôn ngữ do Google công bố năm 2018, chỉ dùng phần encoder của Transformer và học biểu diễn hai chiều: mỗi từ được mã hoá dựa vào cả ngữ cảnh bên trái lẫn bên phải. Mô hình được huấn luyện trước bằng masked language modeling (che ngẫu nhiên một số token rồi đoán lại) và next sentence prediction, sau đó tinh chỉnh cho phân loại, NER, hỏi đáp. "Binary Encoder for Recursive Trees" sai vì BERT không mã hoá nhị phân và không làm việc trên cây đệ quy mà trên chuỗi token. "Bayesian Embedding Representation Transformer" sai vì BERT không phải mô hình Bayes, chữ B là Bidirectional. "Best Encoder Representation Tokenizer" sai vì BERT là mô hình biểu diễn chứ không phải bộ tách từ; nó có dùng tokenizer WordPiece nhưng đó chỉ là bước tiền xử lý.

Đáp án đúng: "All of the mentioned". NLP được ứng dụng ở mọi nơi máy cần hiểu hoặc sinh ngôn ngữ con người. "Automatic Text Summarization" (tóm tắt văn bản tự động) rút gọn tài liệu dài, theo kiểu trích chọn câu quan trọng hoặc sinh lại câu mới, là ứng dụng NLP điển hình. "Automatic Question-Answering Systems" (hệ hỏi đáp tự động) phải hiểu câu hỏi, tìm và trích câu trả lời từ tài liệu hay cơ sở tri thức. "Information Retrieval" (truy xuất thông tin) như máy tìm kiếm dùng token hoá, chuẩn hoá, TF-IDF hay embedding để xếp hạng tài liệu theo truy vấn. Cả ba ứng dụng đều đúng, nên chọn riêng một cái thì bỏ sót những ứng dụng đúng khác cũng thuộc NLP; chỉ phương án gộp mới bao trọn.

Đáp án đúng: "Corpus Based Approach". Cách tiếp cận thống kê trong NLP học tri thức ngôn ngữ từ một corpus (ngữ liệu) lớn: đếm tần suất, ước lượng xác suất như mô hình n-gram, HMM, Naive Bayes, nên còn được gọi là corpus-based (dựa trên ngữ liệu) hay data-driven. Chất lượng mô hình phụ thuộc vào lượng và độ phủ của ngữ liệu chứ không vào luật do chuyên gia viết. "Rule Based Approach" là hướng ngược lại, dựa trên luật ngữ pháp và từ điển viết tay, không học từ ngữ liệu. "CNN" (Convolutional Neural Network) là một kiến trúc mạng nơ-ron cụ thể, thuộc hướng học sâu, không phải tên gọi khác của cả cách tiếp cận thống kê. "K- nearest" chỉ thuật toán k láng giềng gần nhất, một phương pháp phân loại riêng lẻ, không đồng nghĩa với cách tiếp cận thống kê nói chung.

Đáp án đúng: "Representation". Trong NLP, thành phần hiểu ngôn ngữ tự nhiên (NLU) phải ánh xạ câu đầu vào thành một biểu diễn (representation) mà máy xử lý được, như cây cú pháp, dạng logic, khung ngữ nghĩa hay vectơ nhúng, rồi thành phần sinh ngôn ngữ (NLG) đi ngược từ biểu diễn đó ra câu chữ; vì vậy biểu diễn là thành phần quan trọng, hiểu theo đúng nghĩa biến đầu vào thành cấu trúc bên trong chứ không phải nghĩa trình bày thông thường. "Description" là văn miêu tả, một thể loại văn bản tả người, vật, cảnh. "Exposion" chỉ kiểu văn thuyết minh, giải thích một vấn đề. "Narration" là văn tự sự, kể lại chuỗi sự kiện. Các thể loại văn bản như vậy là đối tượng mà NLP có thể xử lý, không phải thành phần cấu tạo nên một hệ NLP.

Đáp án đúng: "the structure, organisation and layout of a text". Diễn ngôn (discourse) là ngôn ngữ ở mức vượt trên câu: cách các câu nối và sắp xếp thành một văn bản mạch lạc, gồm cấu trúc, cách tổ chức đoạn, trình tự ý và bố cục; trong NLP, mức discourse xử lý liên kết giữa các câu như đại từ trỏ về đâu hay quan hệ nguyên nhân và kết quả giữa hai đoạn. "the vocabulary of a text" chỉ là lớp từ vựng, thuộc mức từ chứ không phải tổ chức văn bản. "the meaning behind the vocabulary of a text" là ngữ nghĩa (semantics) của từ ngữ, quan tâm từ ngữ biểu đạt gì chứ không phải chúng được sắp xếp thành văn bản ra sao. "the mode of a text" là phương thức truyền đạt, nói hay viết, in hay số, một đặc điểm ngữ cảnh chứ không phải định nghĩa của diễn ngôn.