Câu hỏi: NLP301c Xử lý ngôn ngữ tự nhiên – Bộ ôn tập thi lại số 1

Đáp án đúng: "Parser". Parser (bộ phân tích cú pháp) là phần mềm nhận dữ liệu đầu vào là văn bản hay chuỗi token, kiểm tra nó có tuân theo văn phạm hay không, và nếu đúng thì xuất ra biểu diễn cấu trúc như cây cú pháp hay cây phụ thuộc; câu sai ngữ pháp sẽ bị báo lỗi. Đó chính là mô tả trong câu hỏi. "Compiler" (trình biên dịch) dịch toàn bộ chương trình nguồn sang mã máy hoặc mã trung gian; bên trong nó có một parser làm một giai đoạn, nhưng mục đích của trình biên dịch là dịch và sinh mã, không dừng ở việc đưa ra biểu diễn cấu trúc của đầu vào. "Painter" là phần mềm vẽ và chỉnh sửa hình ảnh, không phân tích văn phạm. "Easydraw" cũng là công cụ vẽ hình, làm việc với đồ hoạ chứ không kiểm tra ngữ pháp của văn bản.

Đáp án đúng: "Part of Speech". POS tagging là Part-of-Speech tagging (gán nhãn từ loại): gán cho mỗi token trong câu một nhãn từ loại như danh từ, động từ, tính từ, giới từ, theo bộ nhãn như Penn Treebank (NN, VBZ, JJ, IN); việc gán phải dựa vào ngữ cảnh vì một từ như book có thể là danh từ hoặc động từ, nên thường dùng mô hình chuỗi như HMM với Viterbi hay CRF. "Part of Sentence" sai vì nhãn gán cho từng từ theo loại từ, không phải cho các thành phần câu như chủ ngữ, vị ngữ. "Parsing of Sentence" là phân tích cú pháp, một tác vụ khác dựng cấu trúc cây cho cả câu, thường dùng kết quả gán từ loại làm đầu vào. "Position of Syntax" không phải thuật ngữ trong NLP, chữ P và S trùng nhưng ý nghĩa không tương ứng với tác vụ nào.

Đáp án đúng: "Co-Textual Context". Trong ngữ dụng học, ngữ cảnh được chia thành nhiều loại. Co-text (ngữ cảnh văn bản, đồng văn bản) là phần lời nói hay văn bản bao quanh, tức kiến thức về những gì đã được nói trước đó; nó giúp hiểu đại từ he trỏ tới ai, hay cụm the meeting là cuộc họp đã nhắc ở câu trước. "Situational Context" là ngữ cảnh tình huống: thời gian, địa điểm, người tham gia và hoàn cảnh vật lý nơi phát ngôn diễn ra, không phải nội dung đã nói. "Background Knowledge" là kiến thức nền chung về thế giới và văn hoá mà người nghe mang sẵn, như biết Paris là thủ đô nước Pháp, không phụ thuộc vào cuộc hội thoại đang diễn ra. "Operational Knowledge" không phải một loại ngữ cảnh trong cách phân loại này; nó gần với kiến thức về cách thao tác, cách làm một việc, nên không mô tả lời đã nói trước đó.

Đáp án đúng: "Sentence". Phân tích cú pháp (syntactic analysis hay parsing) kiểm tra cách các từ kết hợp thành cụm và thành câu theo luật ngữ pháp, rồi dựng cây thành phần hoặc cây phụ thuộc cho cả câu; ví dụ nó chấp nhận the boy kicks the ball nhưng bác chuỗi ball the kicks boy the, nên đơn vị xử lý của nó là câu. "Word" là mức của phân tích hình thái (morphological analysis), xét cấu tạo bên trong một từ như gốc và phụ tố. "Lexicon" là kho từ vựng, gắn với phân tích từ vựng (lexical analysis) chia văn bản thành từ và tra thông tin của từng từ, chưa xét quan hệ giữa các từ. "Symbol" là mức ký tự hay ký hiệu thô, thấp hơn cả từ, không mang cấu trúc ngữ pháp nào.

Đáp án đúng: "1, 2, 3". Cả ba phương pháp đều làm giảm số chiều của ma trận tài liệu–thuật ngữ, vốn có một cột cho mỗi từ trong từ vựng. (1) Latent Dirichlet Allocation biểu diễn mỗi tài liệu bằng phân phối trên K chủ đề, nên mỗi tài liệu chỉ còn K chiều thay vì hàng chục nghìn chiều từ vựng. (2) Latent Semantic Indexing (còn gọi là LSA) phân tích ma trận bằng SVD rồi giữ k giá trị kỳ dị lớn nhất, chiếu tài liệu xuống không gian ngữ nghĩa k chiều. (3) Keyword normalization chuẩn hoá các biến thể của từ khoá (viết hoa, số nhiều, chia thì) về một dạng, làm số cột giảm trực tiếp. "only 1" bỏ sót LSI và chuẩn hoá từ khoá. "2, 3" bỏ sót LDA, vốn là phương pháp nén theo chủ đề. "1, 3" bỏ sót LSI, phương pháp giảm chiều kinh điển nhất bằng SVD.

Đáp án đúng: "Corpus Based Approach". Cách tiếp cận thống kê trong NLP học tri thức ngôn ngữ từ một corpus (ngữ liệu) lớn: đếm tần suất, ước lượng xác suất như mô hình n-gram, HMM, Naive Bayes, nên còn được gọi là corpus-based (dựa trên ngữ liệu) hay data-driven. Chất lượng mô hình phụ thuộc vào lượng và độ phủ của ngữ liệu chứ không vào luật do chuyên gia viết. "Rule Based Approach" là hướng ngược lại, dựa trên luật ngữ pháp và từ điển viết tay, không học từ ngữ liệu. "CNN" (Convolutional Neural Network) là một kiến trúc mạng nơ-ron cụ thể, thuộc hướng học sâu, không phải tên gọi khác của cả cách tiếp cận thống kê. "K- nearest" chỉ thuật toán k láng giềng gần nhất, một phương pháp phân loại riêng lẻ, không đồng nghĩa với cách tiếp cận thống kê nói chung.

Đáp án đúng: "Rule based Approach.". Hướng tiếp cận ký hiệu (symbolic) trong NLP biểu diễn tri thức ngôn ngữ bằng các ký hiệu và luật do chuyên gia viết tay: văn phạm, từ điển, luật biến đổi hình thái, luật chuyển dịch. Hệ thống suy luận bằng cách áp luật lên ký hiệu nên còn được gọi là hướng dựa trên luật, như ELIZA hay các hệ dịch máy dựa trên luật đời đầu. "Convolutional Neural Networks." thuộc hướng kết nối (connectionist), học biểu diễn số từ dữ liệu chứ không dùng luật viết tay. "Corpus based." là hướng thống kê, học xác suất từ kho ngữ liệu lớn, đối lập với hướng ký hiệu. "Hybrid." là hướng lai kết hợp luật với thống kê hay mạng nơ-ron, không đồng nghĩa với symbolic.

Đáp án đúng: "Desciptive". Câu này thuộc mô hình thực thể–quan hệ (ER model) trong thiết kế cơ sở dữ liệu, nằm ngoài NLP: thuộc tính mô tả (descriptive attribute) là thuộc tính gắn trên chính mối quan hệ chứ không gắn trên thực thể, dùng để ghi kiểu và điều kiện của quan hệ đó; ví dụ quan hệ Enrolls giữa Student và Course mang thuộc tính grade hay enroll_date, vốn chỉ có nghĩa khi có một cặp sinh viên và môn học cụ thể. "Derived" là thuộc tính dẫn xuất, tính được từ thuộc tính khác như age suy ra từ date_of_birth, không nói gì về điều kiện của quan hệ. "Recursive" mô tả quan hệ đệ quy, khi một tập thực thể quan hệ với chính nó như nhân viên quản lý nhân viên, đó là một loại quan hệ chứ không phải thuộc tính. "Relative" không phải tên một loại thuộc tính trong mô hình ER.

Đáp án đúng: "Content". Phân loại văn bản (text classification) gán mỗi tài liệu vào một hay nhiều lớp định sẵn dựa trên nội dung của nó, tức các từ, cụm từ và đặc trưng ngữ nghĩa trích ra từ văn bản, ví dụ lọc thư rác, phân loại chủ đề tin tức hay phân loại cảm xúc; mô hình học từ đặc trưng như túi từ, TF-IDF hay embedding. "Author" là tiêu chí của bài toán riêng gọi là xác định tác giả (authorship attribution), và ngay bài toán đó cũng phải dựa vào văn phong trong nội dung chứ không có sẵn nhãn tác giả. "Length" là độ dài tài liệu, một thuộc tính bề mặt; có thể dùng như đặc trưng phụ nhưng không phải tiêu chí nhóm văn bản. "Font" là phông chữ hiển thị, thuộc định dạng trình bày, thậm chí không tồn tại trong văn bản thô mà mô hình xử lý.

Đáp án đúng: "Finite State Transducers (FSTs)". Finite State Transducer (bộ chuyển đổi trạng thái hữu hạn) là máy trạng thái hữu hạn có hai băng: mỗi cung chuyển vừa đọc một ký hiệu trên băng vào vừa ghi một ký hiệu lên băng ra, nên nó ánh xạ chuỗi sang chuỗi; trong NLP, FST dùng cho phân tích hình thái, ví dụ ánh xạ cats thành cat +N +PL, và cho stemming hay chuyển văn bản thành âm. "Finite State Translators (FSTs)" là cách giải nghĩa sai của viết tắt FST, chữ T là Transducer chứ không phải Translator. "Finite Automata" (ôtômat hữu hạn) chỉ có một băng vào và trả lời chuỗi được chấp nhận hay bị từ chối, không sinh chuỗi ra. "Deterministic Finite Automaton" là trường hợp riêng của ôtômat hữu hạn trong đó mỗi trạng thái và ký hiệu có đúng một chuyển, vẫn chỉ một băng và không có băng ra.

Đáp án đúng: "CountVectorizer". CountVectorizer là lớp trong scikit-learn làm trọn hai việc: tách văn bản thành token theo mẫu tách từ và xây từ vựng, rồi biến mỗi văn bản thành vector số đếm từng token; kiểu dữ liệu đầu ra có thể đặt là số nguyên hay số thực qua tham số dtype. "TF-IDF" là cách tính trọng số từ theo tần suất trong văn bản và độ hiếm trong kho, tức một công thức gán giá trị; muốn có nó trên văn bản thô vẫn phải token hoá và đếm trước, và trong scikit-learn TfidfVectorizer chính là CountVectorizer nối với TfidfTransformer. "Bag of Words" là mô hình biểu diễn mang tính khái niệm, bỏ qua thứ tự từ, chứ không phải công cụ cụ thể thực hiện việc chuyển đổi. "NERs" là các bộ nhận dạng thực thể có tên, gán nhãn người, địa điểm cho token, không tạo vector số cho văn bản.

Đáp án đúng: "Machine Translation". BLEU (Bilingual Evaluation Understudy) so bản dịch máy với một hoặc nhiều bản dịch tham chiếu của người: nó tính độ chính xác n-gram có điều chỉnh (modified precision) cho n từ 1 tới 4, lấy trung bình nhân rồi nhân với hệ số phạt độ ngắn (brevity penalty) để bản dịch quá ngắn không ăn gian điểm; điểm càng gần 1 thì bản dịch càng khớp tham chiếu, vì vậy nó là độ đo tự động chuẩn của dịch máy. "Topic Modeling" thường được đánh giá bằng perplexity hoặc độ gắn kết chủ đề (topic coherence), không có bản tham chiếu để so n-gram. "Text Classification" dùng accuracy, precision, recall, F1 trên nhãn dự đoán. "Sentiment Analysis" là một dạng phân lớp nên cũng đo bằng accuracy hoặc F1, không cần so khớp câu sinh ra.

Đáp án đúng: "BERT". BERT được huấn luyện trước bằng mô hình ngôn ngữ che (masked language modeling): khoảng 15% token trong câu bị thay bằng [MASK] hoặc token khác, và mô hình phải đoán lại token gốc từ ngữ cảnh hai phía; bản gốc còn kèm nhiệm vụ đoán câu tiếp theo (next sentence prediction). Nhờ mục tiêu này, BERT học được biểu diễn ngữ cảnh hai chiều. "GPT" được huấn luyện trước bằng mô hình ngôn ngữ nhân quả, đoán token tiếp theo từ các token đứng trước, không che token giữa câu. "LSTM" là một kiến trúc mạng hồi quy có ô nhớ và các cổng, không gắn với mục tiêu huấn luyện trước nào; nó có thể được huấn luyện cho đủ loại tác vụ. "GRU" cũng là kiến trúc hồi quy, đơn giản hơn LSTM với hai cổng, và cũng không phải mô hình được định nghĩa bởi tác vụ che từ.

Đáp án đúng: "Recall-Oriented Understudy for Gisting Evaluation". ROUGE là bộ độ đo tự động đánh giá tóm tắt văn bản (gisting là nắm ý chính), so bản tóm tắt máy sinh với một hay nhiều bản tóm tắt tham chiếu của người: ROUGE-N đếm n-gram trùng nhau, ROUGE-L dựa trên chuỗi con chung dài nhất. Chữ recall-oriented nghĩa là nó chú trọng độ phủ, tức bao nhiêu phần nội dung tham chiếu được bản máy sinh tái hiện, khác với BLEU của dịch máy nghiêng về precision. "Recall-Oriented Understanding and Generation Evaluation" giữ đúng nửa đầu nhưng đổi Understudy thành Understanding and Generation, không phải tên gọi chuẩn. "Ranking Of Useful Generated Examples" là cách giải nghĩa bịa, ROUGE không xếp hạng ví dụ. "Reinforcement-Oriented Unsupervised Generation Estimator" cũng sai, ROUGE không liên quan học tăng cường mà là độ đo trùng lặp với tham chiếu.

Đáp án đúng: "Bidirectional context". BERT (Bidirectional Encoder Representations from Transformers) dùng bộ mã hoá Transformer với cơ chế self-attention cho phép mỗi token nhìn cả bên trái lẫn bên phải. Nó được huấn luyện bằng masked language modeling: che khoảng 15% token và dự đoán chúng từ cả hai phía, nên biểu diễn mang ngữ cảnh hai chiều. "Unidirectional context" là đặc điểm của mô hình ngôn ngữ tự hồi quy như GPT, chỉ nhìn các token phía trước để đoán token tiếp theo. "Random sampling" là kỹ thuật chọn token khi sinh văn bản hay lấy mẫu dữ liệu; việc chọn token để che trong BERT có yếu tố ngẫu nhiên nhưng đó không phải loại ngữ cảnh mô hình dùng. "Frequency analysis" là thống kê tần suất kiểu bag-of-words, không phải cơ chế biểu diễn của BERT.

Đáp án đúng: "Polysemy". Đa nghĩa (polysemy) là khi một từ có nhiều nghĩa khác nhau nhưng liên hệ với nhau qua một nét nghĩa chung: bank vốn là nơi cất giữ tiền, còn data bank (kho dữ liệu) hay blood bank (ngân hàng máu) mở rộng nghĩa đó thành nơi tích trữ và cung cấp một thứ gì đó, nên các nghĩa có liên quan chứ không ngẫu nhiên trùng âm. "Homophony" là đồng âm, các từ phát âm giống nhau nhưng khác nghĩa và thường khác chữ, như write và right; ở đây chỉ có một từ bank với các nghĩa liên quan. "Synonymy" là đồng nghĩa, nhiều từ khác nhau cùng biểu thị một nghĩa như big và large. "Hyponymy" là quan hệ hạ vị giữa khái niệm hẹp và khái niệm rộng như dog là một loại animal, còn ở đây là các nghĩa mở rộng của cùng một từ.

Đáp án đúng: "K * Log(3) / T". Tính từng phần: TF của "data" trong tài liệu được chọn là số lần xuất hiện chia cho tổng số thuật ngữ, tức K/T. IDF = log(tổng số tài liệu / số tài liệu chứa từ) = log(N / (N/3)) = log(3), vì từ xuất hiện trong khoảng một phần ba số tài liệu. Nhân lại được TF × IDF = (K/T) × log(3) = K * log(3) / T. "KT * Log(3)" sai vì nhân K với T thay vì chia K cho T, làm TF lớn bất thường và tăng theo độ dài tài liệu, trái với mục đích chuẩn hoá. "T * Log(3) / K" đảo ngược tỉ số TF thành T/K, nghĩa là từ càng xuất hiện nhiều thì trọng số càng nhỏ, ngược với ý nghĩa của tần suất. "Log(3) / KT" đặt cả K vào mẫu số, cũng làm trọng số giảm khi từ xuất hiện nhiều hơn, nên không phải TF-IDF.

Đáp án đúng: "Attention mechanism". Transformer là kiến trúc encoder-decoder dựa hoàn toàn vào cơ chế attention, đặc biệt là self-attention nhiều đầu (multi-head): mỗi token tính trọng số chú ý tới mọi token khác bằng query, key, value, nhờ đó nắm phụ thuộc xa và xử lý song song cả chuỗi, không cần hồi quy như RNN; vị trí từ được bổ sung bằng positional encoding. BERT và GPT đều xây trên kiến trúc này. "Convolution layers" là thành phần cốt lõi của CNN, trượt bộ lọc cục bộ trên dữ liệu, không phải nền tảng của Transformer. "Frequency filters" là khái niệm xử lý tín hiệu, lọc thành phần tần số của âm thanh hay ảnh, không thuộc kiến trúc Transformer. "Reinforcement learning" là một cách học bằng phần thưởng, có thể dùng để tinh chỉnh mô hình ngôn ngữ sau huấn luyện, nhưng không phải thành phần kiến trúc mà Transformer dùng.

Đáp án đúng: "True". Word2Vec (Mikolov và cộng sự, 2013) là tên chung cho một họ mô hình học embedding gồm hai kiến trúc. CBOW (continuous bag of words) dự đoán từ trung tâm từ trung bình vector của các từ ngữ cảnh xung quanh, huấn luyện nhanh và tốt với từ phổ biến. Skip-gram làm ngược lại, dùng từ trung tâm để dự đoán từng từ ngữ cảnh, chậm hơn nhưng biểu diễn từ hiếm tốt hơn. Cả hai đi kèm các kỹ thuật tăng tốc như negative sampling hay hierarchical softmax. Vì vậy nói Word2Vec không phải một thuật toán duy nhất mà là tổ hợp hai kỹ thuật là đúng. "False" sai vì khi dùng Word2Vec người ta phải chọn một trong hai kiến trúc, chẳng hạn tham số sg trong thư viện gensim quyết định dùng CBOW hay Skip-gram.

Đáp án đúng: "Both a & c". NLP gặp nhập nhằng ở mọi tầng phân tích: lexical (một từ nhiều nghĩa như bank), syntactical (một câu nhiều cây cú pháp như I saw the man with the telescope), semantical (nghĩa câu có nhiều cách hiểu), discourse (đại từ trỏ về đâu qua nhiều câu) và pragmatic (ý định người nói, như Can you pass the salt là lời nhờ chứ không phải câu hỏi về khả năng). Phương án gộp này tương đương lấy cả "Lexical and syntactical" lẫn "Semantical, discourse and Pragmatic", nên bao trọn các loại nhập nhằng mà NLP phải giải. Riêng "Lexical and syntactical" chỉ nêu hai tầng thấp, bỏ sót nhập nhằng ngữ nghĩa, diễn ngôn và ngữ dụng. Riêng "Semantical, discourse and Pragmatic" chỉ nêu các tầng cao, bỏ sót tầng từ vựng và cú pháp. "NLP does not face any ambiguity" sai hoàn toàn, vì nhập nhằng chính là khó khăn trung tâm của NLP.