Câu hỏi: NLP301c Xử lý ngôn ngữ tự nhiên – Bộ ôn tập cuối kỳ số 1

Đáp án đúng: "Sense disambiguation approach". Câu hỏi phủ định, cần tìm thứ không phải cách tiếp cận học cho hệ hỏi đáp (Question Answering). Khử nhập nhằng nghĩa từ (word sense disambiguation) là một bài toán con của NLP, xác định nghĩa đúng của từ đa nghĩa trong ngữ cảnh; nó có thể là một bước xử lý trong hệ QA nhưng không phải cách tiếp cận để hệ thống học trả lời. "Unsupervised approach" là cách tiếp cận đúng, học từ dữ liệu không nhãn như gom cụm câu hỏi hay khai thác đồng xuất hiện giữa câu hỏi và đoạn văn. "Supervised approach" cũng đúng, huấn luyện trên các cặp câu hỏi và câu trả lời có nhãn, ví dụ mô hình đọc hiểu trích xuất đoạn trả lời. "Knowledge based approach" cũng là hướng hợp lệ, trả lời bằng truy vấn cơ sở tri thức hay ontology có cấu trúc; ba hướng này được nêu như các cách xây dựng hệ QA, nên không phải đáp án.

Đáp án đúng: "Image". Summarization (tóm tắt) là chọn ra phần đại diện nhất của một tập dữ liệu; image summarization (tóm tắt ảnh) áp dụng ý này cho một bộ sưu tập ảnh, chẳng hạn chọn vài tấm tiêu biểu nhất từ album hàng trăm ảnh của một chuyến đi hoặc từ kết quả tìm kiếm ảnh, bằng cách gom các ảnh giống nhau và lấy ảnh trung tâm mỗi nhóm, tránh trùng lặp mà vẫn phủ đủ nội dung. Vì đối tượng được chọn là ảnh nên tập nguồn phải là bộ sưu tập ảnh. "Text" ứng với text summarization (tóm tắt văn bản), chọn hoặc sinh câu tiêu biểu từ tài liệu, không phải chọn ảnh. "Sound" là dữ liệu âm thanh, tóm tắt trên đó là chọn đoạn âm tiêu biểu chứ không phải ảnh. "Word" là đơn vị từ, một tập từ không chứa ảnh để chọn ra ảnh đại diện.

Đáp án đúng: "True". Word embedding biểu diễn mỗi từ bằng một vector số thực nhiều chiều, thường vài chục tới vài trăm chiều với Word2Vec hay GloVe. Mỗi chiều không được gán nghĩa cụ thể bằng tay, nhưng tổng thể các chiều mã hoá nhiều khía cạnh của từ cùng lúc: nghĩa, giống, số ít số nhiều, thì, quan hệ chủ đề. Phép toán vector king trừ man cộng woman cho kết quả gần queen cho thấy có một hướng trong không gian nắm thông tin giới tính, trong khi hướng khác nắm quan hệ thủ đô và quốc gia. Vì vậy nói embedding nắm nhiều chiều thông tin và được biểu diễn dưới dạng vector là đúng. "False" sai vì embedding chính là vector theo định nghĩa, và nó khác one-hot ở chỗ thông tin ngữ nghĩa được phân bố trên nhiều chiều thay vì chỉ đánh dấu một vị trí.

Đáp án đúng: "positive and negative words dictionaries". Phân tích cảm xúc dựa trên từ điển (lexicon-based) gán cực tính cho từng thuật ngữ bằng cách tra nó trong danh sách từ tích cực và từ tiêu cực đã xây sẵn, như good, excellent mang dấu dương còn bad, terrible mang dấu âm; cộng điểm các từ cho ra cảm xúc của cả câu, và các bộ từ điển như VADER còn gán cường độ cho từng từ. "topic modeling" tìm các nhóm từ hay đi cùng nhau để rút chủ đề của tập tài liệu, không nói từ nào tích cực hay tiêu cực. "stemming" chỉ cắt hậu tố đưa từ về gốc, là bước tiền xử lý giúp tra từ điển dễ hơn chứ không tự gán cực tính. "term by document matrix" là ma trận đếm thuật ngữ theo tài liệu, một cách biểu diễn dữ liệu chưa mang thông tin cảm xúc nào.

Đáp án đúng: "Step size is too large". Khi huấn luyện bằng gradient descent, bước học (step size, learning rate) quá lớn làm mỗi lần cập nhật nhảy vượt qua điểm cực tiểu sang sườn bên kia, có khi cao hơn chỗ cũ; lặp lại nhiều lần thì tham số dao động ngày càng xa và loss trên chính tập huấn luyện tăng dần theo số epoch, thậm chí phân kỳ. "Regularization is too low and model is overfitting" sai vì quá khớp biểu hiện là loss huấn luyện vẫn giảm đều trong khi loss kiểm định tăng, không phải loss huấn luyện tăng. "Regularization is too high and model is underfitting" khiến loss huấn luyện dừng ở mức cao, giảm chậm rồi đi ngang, nhưng không tăng lên theo epoch. "Step size is too small" làm loss giảm rất chậm, cần nhiều epoch mới hội tụ, nhưng mỗi bước vẫn đi xuống dốc nên loss không tăng.

Đáp án đúng: "Coreference resolution". Giải quyết đồng tham chiếu (coreference resolution) gom mọi biểu thức tham chiếu, gồm tên riêng, cụm danh từ và đại từ, cùng trỏ về một thực thể ngoài đời thành một chuỗi; ví dụ trong đoạn Barack Obama was born in Hawaii, the former president said he loved it, ba cụm Barack Obama, the former president và he thuộc cùng một chuỗi đồng tham chiếu. "Named entity recognition" chỉ phát hiện và gán loại cho các cụm tên riêng như người, tổ chức, địa điểm, không nối đại từ hay cụm danh từ chung với thực thể mà chúng thay thế. "Information extraction" là lĩnh vực rộng rút dữ kiện có cấu trúc từ văn bản, có thể dùng đồng tham chiếu như một bước con nhưng không phải tên của đúng nhiệm vụ được mô tả. "All of the others" sai vì chỉ đồng tham chiếu mới khớp định nghĩa xác định các biểu thức cùng trỏ một thực thể.

Đáp án đúng: "Vegetables". Hyponym (từ hạ danh) là từ có nghĩa hẹp hơn, chỉ một loại cụ thể của khái niệm rộng hơn gọi là hypernym (từ thượng danh); X là hyponym của Y khi câu X là một loại Y đúng. Tubers (rau củ dạng thân củ) là một loại vegetables nên tubers là hyponym của vegetables. Cần nói thẳng chỗ dễ nhầm là chiều của quan hệ: "Potatoes" là chọn lựa dễ bị đảo chiều, vì khoai tây là một loại củ, tức potatoes mới là hyponym của tubers, còn tubers là hypernym của potatoes chứ không ngược lại. "Carrots" là cà rốt, một loại rau ăn rễ chứ không phải loại củ dạng thân, và nó là khái niệm cụ thể hơn chứ không bao trùm tubers. "Roots" (rau ăn rễ) và tubers là hai nhóm ngang hàng cùng nằm dưới vegetables, tức là co-hyponym (đồng hạ danh) của nhau chứ không bao hàm nhau.

Đáp án đúng: "Measure the shortest path between two words on WordNet". WordNet là mạng từ vựng trong đó các synset (tập đồng nghĩa) nối với nhau bằng quan hệ hypernym/hyponym thành một phân cấp; độ liên quan ngữ nghĩa dựa trên đường đi đo khoảng cách ngắn nhất giữa hai synset trên phân cấp này, đường càng ngắn thì hai từ càng gần nghĩa, ví dụ path similarity trong NLTK bằng 1/(độ dài đường + 1), và Leacock-Chodorow cũng dựa trên độ dài đường ngắn nhất. "Count the number of shared parent nodes" không phải độ đo chuẩn: hầu như mọi danh từ đều chung các tổ tiên ở gần gốc như entity, nên chỉ đếm số cha chung không phân biệt được cặp gần và cặp xa. "Measure the difference between their depths in WordNet" sai vì hai từ ở cùng độ sâu nhưng thuộc hai nhánh xa nhau sẽ bị coi là giống hệt. "Measure the difference between the size of child nodes they have" chỉ cho biết từ nào khái quát hơn (nhiều hyponym hơn), không nói gì về việc hai từ có liên quan nhau hay không.

Đáp án đúng: "K * Log(3) / T". TF (term frequency, tần suất từ) chuẩn hoá theo độ dài văn bản bằng số lần từ xuất hiện chia tổng số từ của văn bản, nên TF = K/T. IDF (inverse document frequency, tần suất văn bản nghịch đảo) bằng log của tổng số văn bản chia số văn bản chứa từ: IDF = log(N/(N/3)) = log(3). Nhân hai thành phần được TF-IDF = (K/T) × log(3), đúng dạng K nhân log(3) rồi chia T. "KT * Log(3)" nhân K với T thay vì chia, tức coi văn bản càng dài thì từ càng quan trọng, ngược với ý nghĩa chuẩn hoá theo độ dài. "T * Log(3) / K" đảo tỉ số TF thành T/K, khiến từ xuất hiện càng nhiều lại có trọng số càng thấp. "Log(3) / KT" đặt cả K vào mẫu số nên trọng số cũng giảm khi từ lặp lại nhiều, trái với vai trò của TF là tăng trọng số cho từ xuất hiện thường xuyên trong văn bản.

Đáp án đúng gồm hai ý: "It helps in reducing the randomness in the word" và "It reduces the dimensionality of the input". Chuẩn hoá từ (text normalization) gồm chuyển chữ thường, stemming, lemmatization, sửa chính tả, đưa nhiều biến thể bề mặt về một dạng chung: Running, runs, ran đều quy về run. Lợi ích thứ nhất là giảm tính ngẫu nhiên, tức giảm sự đa dạng tùy tiện về hình thức của cùng một từ, giúp mô hình nhận ra chúng là một. Lợi ích thứ hai là giảm số chiều đầu vào: từ vựng nhỏ lại nên vector bag-of-words hay TF-IDF ngắn hơn và bớt thưa. "It increases the false negatives" không phải lợi ích; ngược lại, chuẩn hoá thường giúp tìm kiếm khớp được nhiều biến thể hơn, tức giảm false negative, và nếu có làm tăng lỗi thì đó là tác dụng phụ chứ không phải ưu điểm. "All of the others" sai vì nó kéo theo cả ý về false negative vốn không phải lợi ích.

Đáp án đúng: "Hidden gate". Câu hỏi phủ định, cần tìm thứ không phải cổng của LSTM. Một LSTM chuẩn có ba cổng, đều là lớp sigmoid cho giá trị từ 0 tới 1 để điều tiết luồng thông tin qua trạng thái ô nhớ (cell state); trạng thái ẩn (hidden state) là đầu ra của ô tại mỗi bước chứ không phải một cổng, nên "Hidden gate" không tồn tại. "Input gate" là cổng thật, quyết định bao nhiêu thông tin ứng viên mới được ghi vào ô nhớ. "Forget gate" cũng là cổng thật, quyết định phần nào của ô nhớ cũ bị xoá đi, nhờ nó LSTM giữ được phụ thuộc xa mà vẫn bỏ được thông tin đã hết giá trị. "Output gate" là cổng thứ ba, quyết định phần nào của ô nhớ sau khi qua tanh được đưa ra làm trạng thái ẩn. Vì ba cổng này đều có trong LSTM nên chúng không phải đáp án.

Đáp án đúng: "Ensure the anchor is closer to the positive than to the negative by a margin". Mạng Siamese dùng chung một bộ mã hoá để biến mỗi đầu vào thành vectơ nhúng, và triplet loss huấn luyện trên bộ ba: anchor (mẫu gốc), positive (mẫu cùng loại) và negative (mẫu khác loại); hàm mất mát bằng max(0, d(anchor, positive) − d(anchor, negative) + α), chỉ bằng 0 khi khoảng cách từ anchor tới positive nhỏ hơn khoảng cách tới negative ít nhất một lề α. Nhờ đó không gian nhúng xếp các mẫu giống nhau lại gần nhau, dùng được cho nhận diện khuôn mặt hay tìm câu hỏi trùng nghĩa. "Classify images into discrete categories" là mục tiêu của hàm cross-entropy trên tầng softmax; triplet loss học độ tương đồng nên xử lý được cả lớp chưa thấy khi huấn luyện. "Reduce model overfitting through dropout" là việc của dropout, một kỹ thuật điều chuẩn độc lập với hàm mất mát. "Increase the dimensionality of embeddings" sai vì số chiều nhúng do kiến trúc quy định trước, triplet loss chỉ sắp xếp lại vị trí các vectơ trong không gian đó.

Đáp án đúng: "Because it strongly penalizes wrong high-probability predictions, gives useful gradients for learning, and avoids tiny numbers when handling sequence prediction.". Hàm mất mát cross-entropy cho một mẫu là −log(p), với p là xác suất mô hình gán cho lớp đúng. Khi p tiến về 0, tức mô hình tự tin đặt xác suất cao vào lớp sai, −log(p) tăng vọt về vô cực, trong khi 1 − p chỉ tối đa bằng 1, nên lỗi tự tin bị phạt nặng hơn nhiều. Kết hợp với softmax, gradient theo logit có dạng gọn p − y, không bị bão hoà khi mô hình sai nặng, nên học nhanh hơn. Với chuỗi, xác suất cả câu là tích nhiều số nhỏ dễ tràn dưới (underflow), còn log biến tích thành tổng các log ổn định về số học. Phát biểu "always equal to zero when the prediction is wrong" sai vì ngược lại: dự đoán sai cho loss lớn, loss chỉ về 0 khi p = 1. Phát biểu "guarantees that the predicted probabilities always sum to one" sai vì việc chuẩn hoá tổng bằng một là do lớp softmax, phép log không làm điều đó. Phát biểu "independent of the probability assigned to the true class" sai vì cross-entropy phụ thuộc trực tiếp và chỉ phụ thuộc vào chính xác suất của lớp đúng.

Đáp án đúng: "Introduces entities that are new to the hearer into the discourse context". Trong hiện tượng quy chiếu (reference phenomena) của phân tích diễn ngôn, cụm danh từ bất định (indefinite noun phrase) như a dog, some students dùng để đưa vào diễn ngôn một thực thể mà người nghe chưa biết; sau đó thực thể này được nhắc lại bằng cụm xác định hoặc đại từ, như I saw a dog. The dog was barking. It ran away. "Introduces entities that are previous or old to the hearer into the discourse context" mô tả vai trò của cụm danh từ xác định (definite noun phrase) như the dog, vốn chỉ thực thể người nghe đã biết hoặc nhận diện được, ngược với cụm bất định. "Entities that accept the irregular pharses" không phải khái niệm trong lý thuyết quy chiếu, chuyện cụm từ có quy tắc hay không không liên quan tới việc thực thể mới hay cũ. "Entities that accept the regular pharses" cũng vậy, không mô tả chức năng giới thiệu thực thể của cụm danh từ bất định.

Đáp án đúng: "Semantic Analysis". Quá trình phân tích ngôn ngữ thường được mô tả qua năm giai đoạn nối tiếp: thứ nhất là phân tích hình thái và từ vựng, tách và nhận diện từ; thứ hai là phân tích cú pháp, dựng cấu trúc câu; thứ ba là phân tích ngữ nghĩa, gán nghĩa cho câu dựa trên nghĩa từ và cấu trúc đã có; thứ tư là tích hợp diễn ngôn; thứ năm là phân tích ngữ dụng. "Syntactic Analysis" là giai đoạn thứ hai, đứng ngay trước ngữ nghĩa vì phải biết cấu trúc mới ghép được nghĩa. "Discourse Analysis" là giai đoạn thứ tư, liên kết nghĩa của câu đang xét với các câu trước như giải quyết đồng tham chiếu, nên cần có nghĩa của từng câu trước. "Pragmatic Analysis" là giai đoạn cuối, diễn giải ý định thực sự của người nói trong hoàn cảnh, dựa trên tất cả các mức bên dưới.

Đáp án đúng: "RNN". Cơ chế attention được đưa vào NLP năm 2014 qua công trình Neural Machine Translation by Jointly Learning to Align and Translate của Bahdanau, Cho và Bengio: họ gắn attention vào mô hình dịch máy encoder–decoder dùng RNN, cho decoder ở mỗi bước nhìn lại mọi trạng thái ẩn của encoder thay vì chỉ một vectơ ngữ cảnh cố định. Nhiều người gắn attention với "Transformer", vì Transformer ra đời năm 2017 đã phổ biến self-attention và bỏ hẳn tầng hồi quy, nhưng đó là kiến trúc đến sau, xây hoàn toàn trên một cơ chế đã có từ trước; kiến trúc đầu tiên đưa ra attention là RNN encoder–decoder. "CNN" là mạng tích chập, nổi lên từ thị giác máy tính, không phải nơi attention được giới thiệu. "GRU" là chỗ dễ cãi nhất: mô hình của Bahdanau thật ra dùng chính loại tế bào hồi quy có cổng kiểu GRU, nhưng câu hỏi hỏi về kiến trúc, và GRU chỉ là một loại tế bào bên trong mạng hồi quy, còn kiến trúc chứa attention là bộ mã hoá–giải mã RNN, nên câu trả lời là họ kiến trúc RNN.

Đáp án đúng: "5". Beam search giữ lại k chuỗi ứng viên có xác suất cao nhất ở mỗi bước giải mã thay vì chỉ giữ một như giải mã tham lam (greedy); k gọi là beam width (độ rộng chùm). Trong dịch máy nơ-ron, độ rộng chùm thường chỉ cỡ vài đơn vị, và 5 là giá trị mặc định hay gặp vì cân bằng giữa chất lượng và tốc độ: tăng chùm quá lớn hầu như không cải thiện BLEU, có khi còn sinh câu ngắn hơn, lại tốn thêm tính toán. Cần hiểu rằng beam search không bảo đảm tìm ra chuỗi tối ưu toàn cục với bất kỳ độ rộng nào; chữ optimal trong câu hỏi chỉ nên hiểu là cho kết quả tốt trong thực tế. "6", "7" và "8" đều là độ rộng dùng được nhưng không phải giá trị chuẩn thường được chọn làm mặc định; chúng làm tăng chi phí giải mã mà không đem lại lợi ích rõ rệt so với 5.

Đáp án đúng: "19/52". Bộ bài 52 lá có 4 lá Q (queen), 4 lá K (king) và 13 lá cơ (heart). Dùng quy tắc cộng cho biến cố hợp có phần giao: số lá thoả mãn = 4 + 4 + 13 trừ phần đếm trùng. Lá Q cơ và lá K cơ vừa là Q hoặc K vừa là cơ nên đã bị đếm hai lần, phải trừ đi 2; Q và K không giao nhau. Kết quả 4 + 4 + 13 − 2 = 19 lá, nên xác suất là 19/52. "4/13" bằng 16/52, tức chỉ 16 lá, ít hơn 3 lá so với số lá thật sự thoả điều kiện, ứng với cách đếm bỏ sót. "1/36" là mẫu số đặc trưng của phép tung hai con xúc xắc (36 kết quả), không liên quan bộ bài, và nếu quy về 52 lá thì 52/36 không phải số nguyên lá. "5/12" quy về 52 lá được 260/12 ≈ 21,67 lá, không phải số nguyên nên không thể là xác suất rút một lá trong bộ bài 52 lá.

Đáp án đúng: "It focuses about the proper ordering of words which can affect its meaning. This involves analysis of the words in a sentence by following the grammatical structure of the sentence. The words are transformed into the structure to show how the words are related to each other.". Syntax analysis (phân tích cú pháp, parsing) kiểm tra thứ tự từ theo ngữ pháp, vì đổi thứ tự có thể đổi nghĩa hoặc làm câu sai, rồi dựng cấu trúc như cây cú pháp cho thấy quan hệ giữa các từ. Cần nói thẳng chỗ tranh cãi: mô tả "transfers linear sequences of words into structures. It shows how the words are associated" cũng là một định nghĩa đúng một phần của phân tích cú pháp, vì nó nói việc chuyển chuỗi từ tuyến tính thành cấu trúc; nhưng mô tả được chọn đầy đủ hơn khi nêu cả thứ tự đúng của từ, ảnh hưởng tới nghĩa và việc theo cấu trúc ngữ pháp, nên vẫn là câu trả lời tốt nhất. "This only abstracts the dictionary meaning or the real meaning from the given context." là định nghĩa phân tích ngữ nghĩa. Mô tả "overall communicative and social content and its effect on interpretation" là phân tích ngữ dụng, xét ngữ cảnh giao tiếp.

Đáp án đúng: "TRUE". Speech recognition (nhận dạng tiếng nói) biến tín hiệu âm thanh liên tục thành văn bản. Trong lời nói tự nhiên không có khoảng lặng rõ ràng giữa các từ, nên hệ thống phải xác định ranh giới của các đơn vị như âm vị, âm tiết, từ trong dòng âm thanh; đó là speech segmentation (phân đoạn tiếng nói). Vì nhận dạng đúng từ đòi hỏi tách đúng ranh giới và ngược lại, phân đoạn được xem là một bài toán con của nhận dạng tiếng nói, tương tự word segmentation là bài toán con khi xử lý văn bản tiếng Trung hay tiếng Việt. "FALSE" sai vì phân đoạn không phải một ứng dụng độc lập đứng ngoài nhận dạng; trong hệ hiện đại nó có thể được làm ngầm bên trong mô hình, nhưng vẫn là việc mà hệ nhận dạng buộc phải giải.