Đáp án đúng: "Porter Algorithm". Stemming (cắt gốc từ) là kỹ thuật tiền xử lý cắt bỏ hậu tố để đưa các biến thể như connected, connecting, connection về cùng một gốc connect; thuật toán Porter do Martin Porter công bố năm 1980 áp dụng tuần tự các bộ luật viết lại hậu tố có điều kiện, đơn giản, nhanh và có sẵn trong NLTK dưới tên PorterStemmer, nên trở thành stemmer được dùng rộng rãi nhất cho tiếng Anh. "Viterbi Algorithm" là thuật toán quy hoạch động tìm chuỗi trạng thái ẩn khả dĩ nhất trong HMM, dùng cho gán nhãn từ loại hay nhận dạng tiếng nói, không cắt hậu tố. "Decision Algorithm" không phải tên một thuật toán stemming nào; nó chỉ gợi tới cây quyết định, một mô hình phân lớp. "Stemmer Algorithm" chỉ lặp lại tên loại bài toán, không chỉ ra thuật toán cụ thể nào nên không trả lời được câu hỏi thuật toán nào phổ biến nhất.
Đáp án đúng: "Derivational, inflectional". Hình thái học (morphology) chia phụ tố thành hai loại: phụ tố biến tố (inflectional) chỉ đánh dấu đặc điểm ngữ pháp như số, thì, cấp so sánh mà không đổi từ loại hay nghĩa gốc, còn phụ tố phái sinh (derivational) tạo ra từ mới, thường đổi nghĩa hoặc đổi từ loại. Tiếng Anh chỉ có khoảng tám hậu tố biến tố (-s số nhiều, -'s sở hữu, -s ngôi thứ ba, -ed, -ing, -en, -er và -est), trong khi phụ tố phái sinh rất nhiều như un-, re-, pre-, -ness, -ment, -able, -ize, -ful, -tion. Vì thế hình thái phái sinh dùng nhiều phụ tố hơn hẳn hình thái biến tố. "Inflectional, derivational" đảo ngược đúng quan hệ trên nên sai. "Direct, Indirect" không phải cặp phân loại trong hình thái học; trực tiếp và gián tiếp là khái niệm của lời dẫn hay tân ngữ trong ngữ pháp, không dùng để phân loại phụ tố. "None of the others" sai vì đã có một phương án mô tả đúng quan hệ giữa hai loại hình thái.
Đáp án đúng: "Derivational". Hình thái học phái sinh (derivational morphology) ghép phụ tố vào gốc để tạo một từ mới, thường đổi cả từ loại và nghĩa: từ động từ compute, thêm -er được danh từ computer, thêm -ation và -al được tính từ computational; computer là danh từ còn computational là tính từ, nên cặp này minh hoạ đúng quá trình phái sinh. "Inflectional" là biến tố, chỉ thêm dấu ngữ pháp như số nhiều, thì, ngôi (computer thành computers, compute thành computed) mà không đổi từ loại hay tạo từ mới. "Cliticization" là việc gắn một từ rút gọn dính vào từ khác như I'm, we've, can't, ở đây không có thành phần nào như vậy. "All of the others" sai vì biến tố và gắn từ dính đều không mô tả được quan hệ giữa computer và computational.
Đáp án đúng: "3". Lexeme (từ vị) là đơn vị từ vựng trừu tượng gom mọi dạng biến tố của cùng một từ, thường được đại diện bằng lemma (dạng từ điển); vì vậy Man và Men là dạng số ít và số nhiều của cùng lexeme MAN, Girls và Girl là hai dạng của lexeme GIRL, còn Mouse là lexeme MOUSE, tổng cộng năm dạng từ (word form) nhưng chỉ có ba lexeme. "2" sai vì bỏ sót một nhóm, chẳng hạn gộp Mouse vào nhóm khác dù nó không có quan hệ biến tố với từ nào trong danh sách. "1" sai vì gộp cả danh sách thành một từ vị, trong khi man, girl và mouse có nghĩa từ vựng khác nhau. "4" sai vì tách Man và Men thành hai lexeme, nhầm dạng số nhiều bất quy tắc với một từ khác; Men chỉ là số nhiều của Man cũng như Girls là số nhiều của Girl.
Đáp án đúng: "Tokenization". Tokenization (tách token) là bước tiền xử lý đầu tiên, cắt một chuỗi văn bản thành các đơn vị riêng lẻ gọi là token, thường là từ và dấu câu, ví dụ câu "I love NLP." thành bốn token I, love, NLP và dấu chấm; đó đúng là việc biến tài liệu thành tập các từ riêng lẻ. "Stemming" (rút gọn gốc từ) cắt hậu tố theo luật để đưa từ về dạng gốc thô, như "running" thành "run", và chỉ chạy được khi đã có token sẵn. "Lemmatization" (chuẩn hoá về dạng từ điển) dùng từ điển và thông tin từ loại để đưa từ về lemma, như "better" thành "good", cũng là bước xử lý trên từng token đã tách chứ không phải bước tách. "All of the others" sai vì stemming và lemmatization chuẩn hoá hình thái của từ, không làm nhiệm vụ chia tài liệu thành từ, nên không thể gộp chung với tokenization.
Đáp án đúng: "Derivational". Hình thái học phái sinh tạo từ mới bằng cách thêm phụ tố vào gốc, và phụ tố đó thường đổi từ loại kèm đổi nghĩa: happy (tính từ) thành happiness (danh từ), teach (động từ) thành teacher (danh từ chỉ người làm), kind thành unkind mang nghĩa ngược lại. "Inflectional" (biến tố) chỉ thêm thông tin ngữ pháp như số nhiều, thì, cấp so sánh (cat thành cats, walk thành walked), từ vẫn giữ nguyên từ loại và nghĩa từ vựng. "Cliticization" là gắn một từ dạng rút gọn vào từ đứng cạnh, như I'm hay he'll, không tạo ra từ loại mới. "Text-Proofing" là việc soát lỗi chính tả, ngữ pháp trong văn bản, một ứng dụng xử lý văn bản chứ không phải một loại hình thái học.
Đáp án đúng: "closed-class morphemes". Hình thái học chia hình vị (morpheme) tự do thành hai nhóm: content morphemes (hình vị nội dung) mang nghĩa từ vựng như danh từ, động từ, tính từ, và function morphemes (hình vị chức năng) mang nghĩa ngữ pháp như mạo từ the, giới từ of, liên từ and, đại từ. Nhóm chức năng gần như không nhận thêm thành viên mới theo thời gian nên được gọi là lớp đóng, closed class. "open-class morphemes" là tên của nhóm hình vị nội dung, vì ngôn ngữ liên tục sinh danh từ, động từ mới như selfie hay google, tức là ngược lại với hình vị chức năng. "sub-class morphemes" không phải thuật ngữ của hình thái học, không có cách phân lớp nào mang tên này. "super-class morphemes" cũng không phải thuật ngữ ngôn ngữ học, chỉ là phương án nhiễu đặt tên theo mẫu.
Đáp án đúng: "Stemming". Thuật toán Porter Stemmer do Martin Porter công bố là bộ rút gọn gốc từ (stemming) cho tiếng Anh: nó áp lần lượt nhiều bước luật cắt và thay hậu tố, ví dụ "caresses" thành "caress", "relational" thành "relate", để gom các biến thể hình thái về cùng một gốc, giúp giảm kích thước từ vựng trong truy hồi thông tin. Gốc thu được có thể không phải từ có nghĩa. "Lemmatization" khác stemming ở chỗ dùng từ điển và thông tin từ loại để trả về lemma đúng chính tả, như "better" thành "good", việc mà Porter không làm được. "Syntax Analysis" (phân tích cú pháp) xác định cấu trúc câu và quan hệ giữa các từ, không đụng tới hậu tố của từng từ. "Part of speech tagging" (gán nhãn từ loại) gán nhãn như danh từ hay động từ cho mỗi token, thường bằng HMM hoặc mô hình học máy, cũng không phải nhiệm vụ của Porter.
Đáp án đúng: "5". Thuật toán Porter Stemmer (Martin Porter, 1980) cắt hậu tố tiếng Anh qua năm bước tuần tự, mỗi bước là một nhóm luật thay thế có điều kiện dựa trên số đo m (số cặp nguyên âm và phụ âm trong phần gốc). Bước 1 xử lý số nhiều và -ed, -ing (được chia nhỏ thành 1a, 1b, 1c), bước 2 và bước 3 rút gọn các hậu tố phái sinh kép như -ational thành -ate, -alize thành -al, bước 4 bỏ các hậu tố như -ance, -ment, -ive khi gốc đủ dài, bước 5 dọn chữ e cuối và phụ âm đôi ll. "4" và "3" quá ít, bỏ sót các bước; con số này chỉ xuất hiện khi gộp vài nhóm luật lại với nhau. "6" có thể đến từ việc tách một bước con thành bước riêng, nhưng theo mô tả gốc các phần con 1a, 1b, 1c hay 5a, 5b vẫn thuộc năm bước chính.
Đáp án đúng: "Morphological and Lexical Analysis". Đây là mức phân tích đầu tiên trong chuỗi xử lý NLP: phân tích từ vựng (lexical analysis) chia văn bản thô thành đoạn, câu và từ, còn phân tích hình thái (morphological analysis) xét cấu trúc bên trong của từ như gốc, tiền tố, hậu tố; cả hai làm việc trên từ đơn lẻ trước khi xét cú pháp hay nghĩa. "Semantic Analysis" (phân tích ngữ nghĩa) diễn ra muộn hơn, gán nghĩa cho từ và câu đã có cấu trúc, chứ không làm nhiệm vụ cắt văn bản. "Quantifiers" là lượng từ như "all", "some", "every", một hiện tượng ngôn ngữ cần xử lý trong biểu diễn ngữ nghĩa và logic vị từ, không phải một giai đoạn phân tích. "None of the others" sai vì đã có một mức phân tích đúng với mô tả tách đoạn, câu và từ.
Đáp án đúng: "Morphological Processing". Morphology (hình thái học) nghiên cứu cấu tạo bên trong của từ, tức cách từ được ghép từ các hình vị (morpheme) như gốc, tiền tố, hậu tố: unhappiness gồm un, happy, ness. Ở mức xử lý này, hệ thống tách và phân tích hình vị, làm cơ sở cho stemming, lemmatization và nhận biết biến thể từ. "Syntax Processing" (xử lý cú pháp) làm việc ở mức trên từ, xét cách các từ sắp xếp thành cụm và câu theo ngữ pháp, chứ không nhìn vào bên trong một từ. "Parser" là một công cụ hay thành phần phần mềm thực hiện phân tích cú pháp, không phải tên một ngành nghiên cứu cấu trúc từ. "Semantic Processing" (xử lý ngữ nghĩa) quan tâm đến nghĩa của từ và câu, không phải cách từ được cấu tạo từ các hình vị.
Đáp án đúng: "FSA". FSA (finite state automaton, ôtômat hữu hạn trạng thái) đọc một chuỗi và chỉ trả lời chấp nhận hay không, tức nhận diện một tập chuỗi. FST (finite state transducer, bộ chuyển đổi hữu hạn trạng thái) mở rộng FSA bằng cách gắn cặp ký hiệu vào và ra trên mỗi cung, nên nó ánh xạ giữa hai mức biểu diễn, như từ dạng bề mặt cats sang dạng từ vựng cat +N +PL. Nhờ đó FST được dùng trong hình thái học hai mức để biểu diễn từ điển (lexicon) cùng luật chính tả. "FST" không thể là đáp án vì một khái niệm không thể là phiên bản nâng cao của chính nó. "DAWG" (directed acyclic word graph) là cấu trúc nén để lưu tập từ và tra cứu nhanh, chỉ nhận diện từ chứ không chuyển đổi. "Stemmer Algorithm" như Porter cắt hậu tố bằng luật kinh nghiệm, không phải loại ôtômat mà FST được mở rộng ra.
for keyword normalization(reducing words to their base form)?(1) Lemmatization;
(2) Levenshtein; (3) Stemming; (4) Soundex
A1 and 3
B1 and 2
C2 and 4
D1, 2 and 3
Lời giải
Đáp án đúng: "1 and 3". Chuẩn hoá từ khoá là đưa các biến thể về một dạng gốc: lemmatization (từ nguyên hoá) dùng từ điển và từ loại để trả về dạng từ điển (better thành good, studies thành study), còn stemming (cắt gốc) cắt hậu tố theo luật như Porter (connected thành connect); cả hai đều làm các dạng khác nhau của một từ khớp nhau khi tìm kiếm hay đếm. Levenshtein là khoảng cách chỉnh sửa, đếm số thao tác chèn, xoá, thay ký tự để biến chuỗi này thành chuỗi kia, dùng sửa lỗi chính tả hay so khớp mờ, không trả về dạng gốc. Soundex mã hoá từ theo cách phát âm (Robert và Rupert cùng mã R163) để so khớp tên đọc giống nhau. Do đó "1 and 2" sai vì kèm Levenshtein, "2 and 4" sai vì cả hai đều là kỹ thuật so khớp chuỗi chứ không chuẩn hoá, và "1, 2 and 3" sai vì thêm Levenshtein vào.
Đáp án đúng: "Lemmatization". Chuẩn hoá từ khoá là đưa các biến thể về một dạng gốc để so khớp, và cả lemmatization lẫn stemming đều làm việc này; điểm phân biệt nằm ở cụm meaningful base form. Lemmatization (đưa về dạng từ điển) dùng từ điển và thông tin từ loại để trả về lemma là một từ có nghĩa thật, như studies thành study, better thành good. "Stemming" (cắt gốc) cũng chuẩn hoá từ khoá và về nguyên tắc cũng là câu trả lời hợp lệ, nhưng nó cắt hậu tố bằng luật như thuật toán Porter nên thường cho ra gốc không phải từ có nghĩa, như studies thành studi, vì vậy khi câu hỏi nhấn vào dạng gốc có nghĩa và chỉ cho chọn một, lemmatization là phương án sát nhất. "Levenshtein distance" là khoảng cách sửa, đếm số thao tác chèn, xoá, thay để biến chuỗi này thành chuỗi kia, dùng cho sửa lỗi chính tả, không trả về dạng gốc. "Morphing" không phải kỹ thuật chuẩn hoá văn bản, đó là thuật ngữ biến hình trong đồ hoạ.
Đáp án đúng: "Lemmatization". Lemmatization (chuẩn hoá về dạng từ điển) đưa một từ về lemma, tức dạng gốc có trong từ điển, dựa trên từ loại và hình thái: better thành good, studies thành study, was thành be. Chữ also ngụ ý đây là kỹ thuật thứ hai cùng làm việc đưa từ về gốc bên cạnh stemming, và cụm root form hợp với lemma vì nó luôn là một từ thật. Có ý kiến chọn "Steaming" vì đây là cách in sai của Stemming, kỹ thuật cũng đưa từ về gốc; nhưng stemming chỉ cắt hậu tố theo luật nên gốc thu được không bảo đảm là từ thật (studies thành studi), còn chữ Steaming đúng như in nghĩa là hấp hơi, nên Lemmatization vẫn là lựa chọn được chốt. "Rooting" không phải tên một kỹ thuật tiền xử lý trong NLP, chỉ mượn chữ root để gây nhiễu. "Dreaming" là một từ thông thường không liên quan gì tới xử lý hình thái từ.
Ahead words take major portion in English vocabulary;
Bin a given corpus, if the most frequent word's frequency is 1, then the second frequent word's frequency is around 0.5;
Ccomparing to tail words, removing head words helps more to reduce the storage of documents represented by a vector space model when using a dense matrix data structure;
Dsmoothing is not necessary.
Lời giải
Đáp án đúng: "in a given corpus,
Lời giải
if the most frequent word's frequency is 1, then the second frequent word's frequency is around 0.5;
". Định luật Zipf nói tần suất của một từ tỉ lệ nghịch với thứ hạng của nó trong bảng tần suất, f(r) xấp xỉ C / r: từ hạng 1 có tần suất C, từ hạng 2 khoảng C/2, từ hạng 3 khoảng C/3; lấy tần suất từ đứng đầu làm 1 thì từ thứ hai khoảng 0.5, đúng như phát biểu được chọn. Phương án "head words take major portion in English vocabulary;" sai vì nhóm từ đầu bảng (head words) như the, of, and chỉ là một số rất ít loại từ; chúng chiếm phần lớn số lượt xuất hiện (token) chứ không chiếm phần lớn từ vựng, vốn chủ yếu là các từ hiếm ở đuôi. Phương án nói "removing head words helps more to reduce the storage" sai vì ma trận đặc (dense matrix) có kích thước số tài liệu nhân số loại từ, mỗi loại từ một cột bất kể tần suất; đuôi phân phối chứa vô số loại từ hiếm nên bỏ từ đuôi mới giảm nhiều cột, bỏ vài từ đầu bảng gần như không thay đổi kích thước. "smoothing is not necessary." sai vì chính Zipf cho thấy đa số loại từ rất hiếm và nhiều n-gram hợp lệ không hề xuất hiện trong kho ngữ liệu, nên làm trơn (smoothing) là cần thiết để tránh xác suất bằng 0.
Đáp án đúng: "Tokenization". Tokenization (tách token) là quá trình chia một chuỗi văn bản thành danh sách các token, thường là từ, dấu câu hoặc đơn vị dưới từ, ví dụ word_tokenize của NLTK biến một câu thành danh sách từ; nó là bước tiền xử lý đầu tiên để mọi bước sau có đơn vị làm việc. "Rooting" không phải thuật ngữ chuẩn trong NLP; việc đưa từ về gốc được gọi là stemming hay lemmatization. "Chunking" (phân đoạn nông) gom các token đã gán nhãn từ loại thành cụm như cụm danh từ, tức chạy sau tokenization chứ không tách chuỗi thành token. "Steaming" gần với stemming, là cắt hậu tố để đưa từ về dạng gốc, như "running" thành "run"; nó biến đổi từng token chứ không chia chuỗi thành danh sách token.
AIt depicts analyzing, identifying and description of the structure of words. It includes dividing a text into paragraphs, words and the sentences.
BThis component transfers linear sequences of words into structures.
CThis only abstracts the dictionary meaning or the real meaning from the given context.
DAll of the others
Lời giải
Đáp án đúng: "It depicts analyzing, identifying and description of the structure of words. It includes dividing a text into paragraphs, words and the sentences.". Morphological and lexical analysis (phân tích hình thái và từ vựng) là mức đầu tiên của NLP: nhận biết và mô tả cấu trúc của từ qua các hình vị, đồng thời chia văn bản thành đoạn, câu và từ, tức bao gồm tokenization và tách câu. "This component transfers linear sequences of words into structures." là định nghĩa của phân tích cú pháp: nhận chuỗi từ tuyến tính và dựng cấu trúc cây cho thấy quan hệ giữa các từ, mức này làm việc trên kết quả của phân tích từ vựng. "This only abstracts the dictionary meaning or the real meaning from the given context." là định nghĩa của phân tích ngữ nghĩa, rút ra nghĩa của từ và câu. "All of the others" sai vì hai mô tả vừa bác thuộc hai mức phân tích khác, chỉ một mô tả đúng với phân tích hình thái và từ vựng.
Đáp án đúng: "Finite State Transducers (FSTs)". Finite State Transducer (bộ chuyển đổi trạng thái hữu hạn) là máy trạng thái hữu hạn có hai băng: mỗi cung chuyển vừa đọc một ký hiệu trên băng vào vừa ghi một ký hiệu lên băng ra, nên nó ánh xạ chuỗi sang chuỗi; trong NLP, FST dùng cho phân tích hình thái, ví dụ ánh xạ cats thành cat +N +PL, và cho stemming hay chuyển văn bản thành âm. "Finite State Translators (FSTs)" là cách giải nghĩa sai của viết tắt FST, chữ T là Transducer chứ không phải Translator. "Finite Automata" (ôtômat hữu hạn) chỉ có một băng vào và trả lời chuỗi được chấp nhận hay bị từ chối, không sinh chuỗi ra. "Deterministic Finite Automaton" là trường hợp riêng của ôtômat hữu hạn trong đó mỗi trạng thái và ký hiệu có đúng một chuyển, vẫn chỉ một băng và không có băng ra.
Đáp án đúng: "Stop-word removal". Trong pipeline tiền xử lý văn bản, tokenization (tách token) chia văn bản thành từ; ngay sau đó các bước làm sạch ở mức token được áp dụng, điển hình là loại bỏ stop word (từ dừng) như the, is, of vốn xuất hiện dày đặc nhưng ít mang nội dung, rồi mới tới stemming hay lemmatization. Bước này cần có token trước mới làm được và giảm nhiễu cho các bước sau. "Parsing" là phân tích cú pháp, cần câu đầy đủ nên thậm chí phải giữ stop word, và thường đến sau gán nhãn từ loại. "Translation" là ứng dụng đầu cuối, không phải một bước tiền xử lý. "POS tagging" cũng diễn ra sau tách token và trong pipeline phân tích cú pháp nó có thể đi liền sau tokenization; nhưng trong chuỗi tiền xử lý điển hình cho phân loại hay truy xuất văn bản, bước thường gặp ngay sau là loại stop word.
