Đáp án đúng: "Tokenization". Tokenization (tách token) là quá trình chia một chuỗi văn bản thành danh sách các token, thường là từ, dấu câu hoặc đơn vị dưới từ, ví dụ word_tokenize của NLTK biến một câu thành danh sách từ; nó là bước tiền xử lý đầu tiên để mọi bước sau có đơn vị làm việc. "Rooting" không phải thuật ngữ chuẩn trong NLP; việc đưa từ về gốc được gọi là stemming hay lemmatization. "Chunking" (phân đoạn nông) gom các token đã gán nhãn từ loại thành cụm như cụm danh từ, tức chạy sau tokenization chứ không tách chuỗi thành token. "Steaming" gần với stemming, là cắt hậu tố để đưa từ về dạng gốc, như "running" thành "run"; nó biến đổi từng token chứ không chia chuỗi thành danh sách token.
Ahead words take major portion in English vocabulary;
Bin a given corpus, if the most frequent word's frequency is 1, then the second frequent word's frequency is around 0.5;
Ccomparing to tail words, removing head words helps more to reduce the storage of documents represented by a vector space model when using a dense matrix data structure;
Dsmoothing is not necessary.
Lời giải
Đáp án đúng: "in a given corpus,
Lời giải
if the most frequent word's frequency is 1, then the second frequent word's frequency is around 0.5;
". Định luật Zipf nói tần suất của một từ tỉ lệ nghịch với thứ hạng của nó trong bảng tần suất, f(r) xấp xỉ C / r: từ hạng 1 có tần suất C, từ hạng 2 khoảng C/2, từ hạng 3 khoảng C/3; lấy tần suất từ đứng đầu làm 1 thì từ thứ hai khoảng 0.5, đúng như phát biểu được chọn. Phương án "head words take major portion in English vocabulary;" sai vì nhóm từ đầu bảng (head words) như the, of, and chỉ là một số rất ít loại từ; chúng chiếm phần lớn số lượt xuất hiện (token) chứ không chiếm phần lớn từ vựng, vốn chủ yếu là các từ hiếm ở đuôi. Phương án nói "removing head words helps more to reduce the storage" sai vì ma trận đặc (dense matrix) có kích thước số tài liệu nhân số loại từ, mỗi loại từ một cột bất kể tần suất; đuôi phân phối chứa vô số loại từ hiếm nên bỏ từ đuôi mới giảm nhiều cột, bỏ vài từ đầu bảng gần như không thay đổi kích thước. "smoothing is not necessary." sai vì chính Zipf cho thấy đa số loại từ rất hiếm và nhiều n-gram hợp lệ không hề xuất hiện trong kho ngữ liệu, nên làm trơn (smoothing) là cần thiết để tránh xác suất bằng 0.
Đáp án đúng: "12534". Một pipeline phân loại văn bản đi theo dòng dữ liệu: trước hết làm sạch văn bản (Text cleaning: bỏ ký tự thừa, chuẩn hoá chữ, bỏ stop word), rồi gán nhãn (Text annotation) để có dữ liệu huấn luyện có giám sát, tiếp theo biến văn bản thành đặc trưng số (Text to predictors, như bag-of-words, TF-IDF hay embedding), sau đó huấn luyện mô hình bằng thuật toán tối ưu như Gradient descent, cuối cùng tinh chỉnh siêu tham số (Model tuning) dựa trên kết quả kiểm định. Thứ tự đó là 1, 2, 5, 3, 4. "12345" đặt gradient descent trước bước chuyển văn bản thành số, trong khi thuật toán tối ưu không thể chạy trên chữ. "13425" huấn luyện và tinh chỉnh trước cả khi gán nhãn và tạo đặc trưng. "13452" cũng chạy gradient descent ngay sau làm sạch khi chưa có nhãn hay đặc trưng, và đẩy việc gán nhãn xuống cuối cùng.
Đáp án đúng: "Naive Bayes". Maximum likelihood estimation (ước lượng hợp lý cực đại) chọn tham số làm xác suất của dữ liệu quan sát lớn nhất; với Naive Bayes nghiệm có dạng đóng chỉ bằng đếm tần suất: P(c) bằng số văn bản lớp c chia tổng số văn bản, P(w|c) bằng số lần từ w xuất hiện trong lớp c chia tổng số từ của lớp c. Cần nói thẳng chỗ tranh cãi: "Maximum Entropy Model" cũng được huấn luyện bằng hợp lý cực đại, cụ thể là cực đại hoá log-likelihood có điều kiện bằng tối ưu lặp vì không có nghiệm dạng đóng, nên về lý thuyết nó cũng thoả câu hỏi; vì chỉ được chọn một, Naive Bayes được giữ do là ví dụ kinh điển của MLE ở dạng đóng. "Support Vector Machines" tìm siêu phẳng có lề lớn nhất bằng hàm mất mát hinge, không xây trên hàm hợp lý xác suất. "K Nearest Neighbor" là phương pháp phi tham số dựa trên khoảng cách, không có tham số nào để ước lượng, chỉ lưu dữ liệu và bỏ phiếu theo láng giềng.
Đáp án đúng: "Sentences". Trong ngữ pháp thành phần (constituency grammar), cụm từ (phrase) là các đơn vị trung gian được xây quanh một từ trung tâm, rồi các cụm ghép lại thành câu theo luật như S → NP VP. "Noun phrase" (cụm danh từ, ví dụ "the old man") có trung tâm là danh từ, là một loại cụm. "Verb phrase" (cụm động từ, ví dụ "reads a book") có trung tâm là động từ, cũng là một loại cụm. "Prepositional phrase" (cụm giới từ, ví dụ "on the table") có trung tâm là giới từ, cũng thuộc nhóm cụm. Riêng "Sentences" là đơn vị ở mức cao hơn, là nút gốc S của cây cú pháp, được tạo thành từ các cụm chứ không phải một loại cụm, nên nó là phần tử khác loại.
Đáp án đúng: "Coreference resolution". Giải quyết đồng tham chiếu (coreference resolution) gom mọi biểu thức tham chiếu, gồm tên riêng, cụm danh từ và đại từ, cùng trỏ về một thực thể ngoài đời thành một chuỗi; ví dụ trong đoạn Barack Obama was born in Hawaii, the former president said he loved it, ba cụm Barack Obama, the former president và he thuộc cùng một chuỗi đồng tham chiếu. "Named entity recognition" chỉ phát hiện và gán loại cho các cụm tên riêng như người, tổ chức, địa điểm, không nối đại từ hay cụm danh từ chung với thực thể mà chúng thay thế. "Information extraction" là lĩnh vực rộng rút dữ kiện có cấu trúc từ văn bản, có thể dùng đồng tham chiếu như một bước con nhưng không phải tên của đúng nhiệm vụ được mô tả. "All of the others" sai vì chỉ đồng tham chiếu mới khớp định nghĩa xác định các biểu thức cùng trỏ một thực thể.
Đáp án đúng: "Lemmatization". Lemmatization (chuẩn hoá về dạng từ điển) đưa một từ về lemma, tức dạng gốc có trong từ điển, dựa trên từ loại và hình thái: better thành good, studies thành study, was thành be. Chữ also ngụ ý đây là kỹ thuật thứ hai cùng làm việc đưa từ về gốc bên cạnh stemming, và cụm root form hợp với lemma vì nó luôn là một từ thật. Có ý kiến chọn "Steaming" vì đây là cách in sai của Stemming, kỹ thuật cũng đưa từ về gốc; nhưng stemming chỉ cắt hậu tố theo luật nên gốc thu được không bảo đảm là từ thật (studies thành studi), còn chữ Steaming đúng như in nghĩa là hấp hơi, nên Lemmatization vẫn là lựa chọn được chốt. "Rooting" không phải tên một kỹ thuật tiền xử lý trong NLP, chỉ mượn chữ root để gây nhiễu. "Dreaming" là một từ thông thường không liên quan gì tới xử lý hình thái từ.
Đáp án đúng: "spaCy". spaCy là thư viện Python chuyên cho xử lý ngôn ngữ tự nhiên, cung cấp sẵn pipeline gồm tokenization, gán nhãn từ loại, lemmatization, phân tích phụ thuộc, nhận diện thực thể có tên và vector từ, với mô hình huấn luyện sẵn cho nhiều ngôn ngữ; cùng với NLTK, nó là thư viện NLP hay gặp nhất. "NumPy" là thư viện tính toán số học với mảng nhiều chiều và đại số tuyến tính, là nền cho nhiều thư viện khác nhưng không có công cụ xử lý ngôn ngữ nào. "Pandas" là thư viện thao tác dữ liệu dạng bảng qua DataFrame, hữu ích để đọc và lọc tập dữ liệu văn bản nhưng không tách từ hay phân tích cú pháp. "Seaborn" là thư viện trực quan hoá dữ liệu thống kê xây trên Matplotlib, dùng để vẽ biểu đồ, không phải thư viện NLP.
Đáp án đúng: "NLTK". NLTK (Natural Language Toolkit) là thư viện Python chuyên cho xử lý ngôn ngữ tự nhiên, cung cấp sẵn các công cụ tách token, rút gọn gốc từ (PorterStemmer), lemmatization qua WordNet, gán nhãn từ loại, phân tích cú pháp, cùng nhiều kho ngữ liệu để học và thử nghiệm, nên là công cụ NLP kinh điển trong Python. "TensorFlow" là khung học sâu đa năng của Google; có thể dùng nó để xây mô hình NLP, nhưng bản thân nó là thư viện tính toán tensor và huấn luyện mạng nơ-ron cho mọi lĩnh vực, không phải bộ công cụ chuyên NLP. "OpenCV" là thư viện thị giác máy tính, xử lý ảnh và video như phát hiện cạnh, nhận dạng khuôn mặt. "Matplotlib" là thư viện vẽ biểu đồ và trực quan hoá dữ liệu, chỉ dùng để minh hoạ kết quả chứ không xử lý văn bản.
Đáp án đúng: "K * Log(3) / T". Tần suất thuật ngữ TF bằng số lần thuật ngữ xuất hiện chia cho tổng số thuật ngữ của tài liệu, nên TF(hello) = K / T. Tần suất tài liệu nghịch đảo IDF = log(N / số tài liệu chứa thuật ngữ); hello có mặt trong khoảng N/3 tài liệu nên IDF = log(N chia cho N/3) = log(3). Nhân lại được TF × IDF = (K / T) × log(3), đúng bằng K * Log(3) / T. "KT * Log(3)" sai vì nhân K với T thay vì chia, khiến tài liệu càng dài điểm càng cao, ngược với ý chuẩn hoá theo độ dài. "T * Log(3) / K" đảo ngược TF thành T / K, nên thuật ngữ càng xuất hiện nhiều lại càng nhận điểm thấp. "Log(3) / KT" chia cho cả K lẫn T, cũng làm số lần xuất hiện K kéo điểm xuống thay vì đẩy lên.
Đáp án đúng: "True". Khai phá luật kết hợp (association rule mining), còn gọi phân tích giỏ hàng (market basket analysis), là kỹ thuật khai phá dữ liệu, nằm ngoài NLP nhưng thuộc học máy nói chung. Nó tìm các quy tắc dạng mua bánh mì và bơ thì thường mua sữa từ dữ liệu giao dịch, đo bằng support (độ hỗ trợ, tỷ lệ giao dịch chứa tập mục), confidence (độ tin cậy) và lift, qua các thuật toán như Apriori hay FP-Growth. Dữ liệu đầu vào chỉ là các giao dịch, không có nhãn đầu ra nào để mô hình học theo, và mục tiêu là phát hiện cấu trúc ẩn trong dữ liệu, nên nó thuộc học không giám sát (unsupervised), cùng nhóm với phân cụm. "False" sai vì học có giám sát đòi hỏi cặp đầu vào và nhãn đúng để huấn luyện như trong phân loại hay hồi quy, điều mà khai phá luật kết hợp hoàn toàn không cần.
Đáp án đúng: "Averaging context word embeddings". Trong CBOW, mỗi từ ngữ cảnh quanh từ đích được tra ra vector embedding từ ma trận đầu vào, rồi các vector này được lấy trung bình (hoặc cộng) thành một vector ẩn duy nhất; vector đó nhân với ma trận đầu ra và qua softmax để đoán từ trung tâm. Lấy trung bình làm thứ tự từ không còn ý nghĩa, đúng tinh thần bag of words. "Concatenating word embeddings" là cách của mô hình ngôn ngữ nơ-ron cửa sổ cố định, giữ vị trí từng từ và làm vector dài theo kích thước cửa sổ, không phải cách CBOW gộp ngữ cảnh. "Summing word frequencies" cộng tần suất xuất hiện, tức làm việc với số đếm kiểu bag of words truyền thống chứ không với vector embedding học được. "Taking the dot product" là phép tính điểm giữa vector ẩn và vector đầu ra của từng từ ứng viên ở lớp ra, nó cho một số vô hướng chứ không gộp nhiều từ ngữ cảnh thành một vector.
Đáp án đúng: "Sense disambiguation approach". Câu hỏi phủ định, cần tìm thứ không phải cách tiếp cận học cho hệ hỏi đáp (Question Answering). Khử nhập nhằng nghĩa từ (word sense disambiguation) là một bài toán con của NLP, xác định nghĩa đúng của từ đa nghĩa trong ngữ cảnh; nó có thể là một bước xử lý trong hệ QA nhưng không phải cách tiếp cận để hệ thống học trả lời. "Unsupervised approach" là cách tiếp cận đúng, học từ dữ liệu không nhãn như gom cụm câu hỏi hay khai thác đồng xuất hiện giữa câu hỏi và đoạn văn. "Supervised approach" cũng đúng, huấn luyện trên các cặp câu hỏi và câu trả lời có nhãn, ví dụ mô hình đọc hiểu trích xuất đoạn trả lời. "Knowledge based approach" cũng là hướng hợp lệ, trả lời bằng truy vấn cơ sở tri thức hay ontology có cấu trúc; ba hướng này được nêu như các cách xây dựng hệ QA, nên không phải đáp án.
Đáp án đúng: "Anaphoric ambiguity". Nhập nhằng hồi chỉ (anaphoric ambiguity) xuất hiện khi một đại từ trỏ ngược về phía trước mà người đọc không xác định chắc nó thay cho ai: trong câu đã cho, đại từ they không có tiền ngữ số nhiều nào, vì the school là số ít và I là người nói, nên không rõ they là giáo viên, nhân viên hay ban giám hiệu. "Syntactic ambiguity" đòi hỏi câu có hai cấu trúc ngữ pháp khả dĩ, ở đây cách chia mệnh đề là rõ ràng. "Semantic ambiguity" là khi nghĩa tổng thể của câu có nhiều cách hiểu dù từng từ đã rõ, câu này không rơi vào tình huống đó. "Lexical ambiguity" cần một từ đa nghĩa gây hiểu khác nhau, mà school, told, next day ở đây chỉ có một nghĩa phù hợp với ngữ cảnh.
Đáp án đúng: "Angle between two vectors". Độ tương đồng cosine bằng tích vô hướng của hai vector chia cho tích độ dài của chúng, cos θ = u·v / (‖u‖‖v‖), nên giá trị chỉ phụ thuộc góc θ giữa hai vector: cùng hướng cho 1, vuông góc cho 0. Trong NLP nó được dùng để so văn bản hay embedding vì hai văn bản cùng chủ đề nhưng dài ngắn khác nhau vẫn có vector cùng hướng. "Euclidean distance between two vectors" là một độ đo khoảng cách khác, nhạy với độ dài vector: văn bản dài gấp đôi cho khoảng cách lớn dù nội dung giống nhau. "Magnitude difference between two vectors" là hiệu độ lớn, đúng thứ mà cosine cố ý loại bỏ khi chia cho chuẩn. "Dot product of two vectors without normalization" chỉ là tử số của công thức; thiếu bước chia cho chuẩn thì kết quả bị chi phối bởi độ dài vector, chưa phải cosine.
Đáp án đúng: "Market Basket Analysis". Market basket analysis (phân tích giỏ hàng) là bài toán khai phá luật kết hợp trong khai phá dữ liệu, nằm ngoài NLP: nó đọc dữ liệu giao dịch, mỗi giao dịch là một tập mặt hàng, rồi dùng thuật toán như Apriori hay FP-Growth tìm luật kiểu ai mua bánh mì thì hay mua bơ, đánh giá bằng support, confidence và lift; dữ liệu là tập mặt hàng chứ không phải ngôn ngữ. "ChatBot" là ứng dụng NLP điển hình vì phải hiểu câu hỏi bằng ngôn ngữ tự nhiên và sinh câu trả lời. "Speech Recognition" (nhận dạng tiếng nói) chuyển tín hiệu tiếng nói thành văn bản, dùng mô hình âm học kết hợp mô hình ngôn ngữ, là một nhánh của xử lý ngôn ngữ. "Sentimental Analysis" (phân tích cảm xúc) phân loại văn bản là tích cực, tiêu cực hay trung tính, là bài toán phân loại văn bản quen thuộc của NLP.
Đáp án đúng: "1 and 2". Số chiều của ma trận tài liệu–thuật ngữ (document-term matrix) bằng số từ khác nhau trong từ vựng, mỗi cột một từ. (1) đúng: bỏ từ dừng (stopword removal) xoá hẳn các cột như "the", "is", nên làm đổi số chiều. (2) đúng: chuẩn hoá từ (word normalization) như stemming, lemmatization hay sửa biến thể chính tả gộp "play", "plays", "played" về một cột, nên làm giảm số chiều. (3) sai: chuyển chữ thường (lowercasing) gộp "Data", "DATA" và "data" thành một cột, tức cũng làm giảm số chiều chứ không phải không ảnh hưởng. Vậy chỉ (1) và (2) đúng. "Only 1" bỏ sót phát biểu (2) vốn cũng đúng. "Only 2" bỏ sót phát biểu (1) về từ dừng. "Only 3" chọn đúng phát biểu duy nhất sai, vì với tweet viết hoa thường lẫn lộn, lowercasing thường làm giảm số cột đáng kể.
Đáp án đúng: "True". Xử lý ngôn ngữ tự nhiên là nhánh của khoa học máy tính và trí tuệ nhân tạo nghiên cứu sự tương tác giữa máy tính và ngôn ngữ của con người, theo hai chiều: hiểu ngôn ngữ (NLU) như phân tích cú pháp, trích xuất thông tin, phân loại cảm xúc, và sinh ngôn ngữ (NLG) như dịch máy, tóm tắt, chatbot trả lời. Phát biểu nêu đúng định nghĩa chuẩn này, trong đó chữ natural phân biệt các ngôn ngữ như tiếng Anh, tiếng Việt với ngôn ngữ hình thức như ngôn ngữ lập trình. Phương án "False" sai vì phủ nhận chính phạm vi của lĩnh vực; mọi bài toán NLP, từ tách từ tới mô hình ngôn ngữ lớn, đều là cách để máy tính đọc, xử lý hoặc tạo ra ngôn ngữ tự nhiên của con người.
Đáp án đúng: "[1, 7, 5]". Phương pháp trích đặc trưng bằng tần suất biểu diễn một câu bằng vector ba chiều gồm bias 1, tổng tần suất dương và tổng tần suất âm, với tổng lấy trên các từ khác nhau có mặt trong câu. Câu i love cat i also like dog có các từ khác nhau i, love, cat, also, like, dog. Cột pos: 2 + 1 + 1 + 1 + 1 + 1 = 7. Cột neg: 2 + 0 + 1 + 0 + 1 + 1 = 5. Thêm bias được [1, 7, 5]. "[1, 9, 7]" là kết quả khi cộng từ i hai lần vì nó xuất hiện hai lần trong câu, mỗi cột thêm 2; cộng theo từng lần xuất hiện có trong một số bản cài đặt, nhưng định nghĩa đặc trưng tần suất cộng mỗi từ của từ vựng có mặt trong câu đúng một lần. "[1, 2, 1, 1, 2, 1, 1, 1, 2, 0, 1, 2, 0, 1, 1]" và "[1, 2, 1, 1, 2, 1, 1, 1, 1, 2, 0, 1, 2, 0, 1, 1]" liệt kê tần suất từng từ thành vector dài, không phải dạng ba chiều mà phương pháp này tạo ra; mục đích của nó chính là nén cả câu về hai con số pos và neg.
Đáp án đúng: "Lemmatization". Chuẩn hoá từ khoá là đưa các biến thể về một dạng gốc để so khớp, và cả lemmatization lẫn stemming đều làm việc này; điểm phân biệt nằm ở cụm meaningful base form. Lemmatization (đưa về dạng từ điển) dùng từ điển và thông tin từ loại để trả về lemma là một từ có nghĩa thật, như studies thành study, better thành good. "Stemming" (cắt gốc) cũng chuẩn hoá từ khoá và về nguyên tắc cũng là câu trả lời hợp lệ, nhưng nó cắt hậu tố bằng luật như thuật toán Porter nên thường cho ra gốc không phải từ có nghĩa, như studies thành studi, vì vậy khi câu hỏi nhấn vào dạng gốc có nghĩa và chỉ cho chọn một, lemmatization là phương án sát nhất. "Levenshtein distance" là khoảng cách sửa, đếm số thao tác chèn, xoá, thay để biến chuỗi này thành chuỗi kia, dùng cho sửa lỗi chính tả, không trả về dạng gốc. "Morphing" không phải kỹ thuật chuẩn hoá văn bản, đó là thuật ngữ biến hình trong đồ hoạ.
