Tất cả câu hỏi

Đáp án đúng: "NLTK". NLTK (Natural Language Toolkit) là thư viện Python chuyên cho xử lý ngôn ngữ tự nhiên, cung cấp sẵn các công cụ tách token, rút gọn gốc từ (PorterStemmer), lemmatization qua WordNet, gán nhãn từ loại, phân tích cú pháp, cùng nhiều kho ngữ liệu để học và thử nghiệm, nên là công cụ NLP kinh điển trong Python. "TensorFlow" là khung học sâu đa năng của Google; có thể dùng nó để xây mô hình NLP, nhưng bản thân nó là thư viện tính toán tensor và huấn luyện mạng nơ-ron cho mọi lĩnh vực, không phải bộ công cụ chuyên NLP. "OpenCV" là thư viện thị giác máy tính, xử lý ảnh và video như phát hiện cạnh, nhận dạng khuôn mặt. "Matplotlib" là thư viện vẽ biểu đồ và trực quan hoá dữ liệu, chỉ dùng để minh hoạ kết quả chứ không xử lý văn bản.

Đáp án đúng: "K * Log(3) / T". Tần suất thuật ngữ TF bằng số lần thuật ngữ xuất hiện chia cho tổng số thuật ngữ của tài liệu, nên TF(hello) = K / T. Tần suất tài liệu nghịch đảo IDF = log(N / số tài liệu chứa thuật ngữ); hello có mặt trong khoảng N/3 tài liệu nên IDF = log(N chia cho N/3) = log(3). Nhân lại được TF × IDF = (K / T) × log(3), đúng bằng K * Log(3) / T. "KT * Log(3)" sai vì nhân K với T thay vì chia, khiến tài liệu càng dài điểm càng cao, ngược với ý chuẩn hoá theo độ dài. "T * Log(3) / K" đảo ngược TF thành T / K, nên thuật ngữ càng xuất hiện nhiều lại càng nhận điểm thấp. "Log(3) / KT" chia cho cả K lẫn T, cũng làm số lần xuất hiện K kéo điểm xuống thay vì đẩy lên.

Đáp án đúng: "True". Khai phá luật kết hợp (association rule mining), còn gọi phân tích giỏ hàng (market basket analysis), là kỹ thuật khai phá dữ liệu, nằm ngoài NLP nhưng thuộc học máy nói chung. Nó tìm các quy tắc dạng mua bánh mì và bơ thì thường mua sữa từ dữ liệu giao dịch, đo bằng support (độ hỗ trợ, tỷ lệ giao dịch chứa tập mục), confidence (độ tin cậy) và lift, qua các thuật toán như Apriori hay FP-Growth. Dữ liệu đầu vào chỉ là các giao dịch, không có nhãn đầu ra nào để mô hình học theo, và mục tiêu là phát hiện cấu trúc ẩn trong dữ liệu, nên nó thuộc học không giám sát (unsupervised), cùng nhóm với phân cụm. "False" sai vì học có giám sát đòi hỏi cặp đầu vào và nhãn đúng để huấn luyện như trong phân loại hay hồi quy, điều mà khai phá luật kết hợp hoàn toàn không cần.

Đáp án đúng: "Averaging context word embeddings". Trong CBOW, mỗi từ ngữ cảnh quanh từ đích được tra ra vector embedding từ ma trận đầu vào, rồi các vector này được lấy trung bình (hoặc cộng) thành một vector ẩn duy nhất; vector đó nhân với ma trận đầu ra và qua softmax để đoán từ trung tâm. Lấy trung bình làm thứ tự từ không còn ý nghĩa, đúng tinh thần bag of words. "Concatenating word embeddings" là cách của mô hình ngôn ngữ nơ-ron cửa sổ cố định, giữ vị trí từng từ và làm vector dài theo kích thước cửa sổ, không phải cách CBOW gộp ngữ cảnh. "Summing word frequencies" cộng tần suất xuất hiện, tức làm việc với số đếm kiểu bag of words truyền thống chứ không với vector embedding học được. "Taking the dot product" là phép tính điểm giữa vector ẩn và vector đầu ra của từng từ ứng viên ở lớp ra, nó cho một số vô hướng chứ không gộp nhiều từ ngữ cảnh thành một vector.

Đáp án đúng: "Sense disambiguation approach". Câu hỏi phủ định, cần tìm thứ không phải cách tiếp cận học cho hệ hỏi đáp (Question Answering). Khử nhập nhằng nghĩa từ (word sense disambiguation) là một bài toán con của NLP, xác định nghĩa đúng của từ đa nghĩa trong ngữ cảnh; nó có thể là một bước xử lý trong hệ QA nhưng không phải cách tiếp cận để hệ thống học trả lời. "Unsupervised approach" là cách tiếp cận đúng, học từ dữ liệu không nhãn như gom cụm câu hỏi hay khai thác đồng xuất hiện giữa câu hỏi và đoạn văn. "Supervised approach" cũng đúng, huấn luyện trên các cặp câu hỏi và câu trả lời có nhãn, ví dụ mô hình đọc hiểu trích xuất đoạn trả lời. "Knowledge based approach" cũng là hướng hợp lệ, trả lời bằng truy vấn cơ sở tri thức hay ontology có cấu trúc; ba hướng này được nêu như các cách xây dựng hệ QA, nên không phải đáp án.

Đáp án đúng: "Anaphoric ambiguity". Nhập nhằng hồi chỉ (anaphoric ambiguity) xuất hiện khi một đại từ trỏ ngược về phía trước mà người đọc không xác định chắc nó thay cho ai: trong câu đã cho, đại từ they không có tiền ngữ số nhiều nào, vì the school là số ít và I là người nói, nên không rõ they là giáo viên, nhân viên hay ban giám hiệu. "Syntactic ambiguity" đòi hỏi câu có hai cấu trúc ngữ pháp khả dĩ, ở đây cách chia mệnh đề là rõ ràng. "Semantic ambiguity" là khi nghĩa tổng thể của câu có nhiều cách hiểu dù từng từ đã rõ, câu này không rơi vào tình huống đó. "Lexical ambiguity" cần một từ đa nghĩa gây hiểu khác nhau, mà school, told, next day ở đây chỉ có một nghĩa phù hợp với ngữ cảnh.

Đáp án đúng: "Angle between two vectors". Độ tương đồng cosine bằng tích vô hướng của hai vector chia cho tích độ dài của chúng, cos θ = u·v / (‖u‖‖v‖), nên giá trị chỉ phụ thuộc góc θ giữa hai vector: cùng hướng cho 1, vuông góc cho 0. Trong NLP nó được dùng để so văn bản hay embedding vì hai văn bản cùng chủ đề nhưng dài ngắn khác nhau vẫn có vector cùng hướng. "Euclidean distance between two vectors" là một độ đo khoảng cách khác, nhạy với độ dài vector: văn bản dài gấp đôi cho khoảng cách lớn dù nội dung giống nhau. "Magnitude difference between two vectors" là hiệu độ lớn, đúng thứ mà cosine cố ý loại bỏ khi chia cho chuẩn. "Dot product of two vectors without normalization" chỉ là tử số của công thức; thiếu bước chia cho chuẩn thì kết quả bị chi phối bởi độ dài vector, chưa phải cosine.

Đáp án đúng: "Market Basket Analysis". Market basket analysis (phân tích giỏ hàng) là bài toán khai phá luật kết hợp trong khai phá dữ liệu, nằm ngoài NLP: nó đọc dữ liệu giao dịch, mỗi giao dịch là một tập mặt hàng, rồi dùng thuật toán như Apriori hay FP-Growth tìm luật kiểu ai mua bánh mì thì hay mua bơ, đánh giá bằng support, confidence và lift; dữ liệu là tập mặt hàng chứ không phải ngôn ngữ. "ChatBot" là ứng dụng NLP điển hình vì phải hiểu câu hỏi bằng ngôn ngữ tự nhiên và sinh câu trả lời. "Speech Recognition" (nhận dạng tiếng nói) chuyển tín hiệu tiếng nói thành văn bản, dùng mô hình âm học kết hợp mô hình ngôn ngữ, là một nhánh của xử lý ngôn ngữ. "Sentimental Analysis" (phân tích cảm xúc) phân loại văn bản là tích cực, tiêu cực hay trung tính, là bài toán phân loại văn bản quen thuộc của NLP.

Đáp án đúng: "1 and 2". Số chiều của ma trận tài liệu–thuật ngữ (document-term matrix) bằng số từ khác nhau trong từ vựng, mỗi cột một từ. (1) đúng: bỏ từ dừng (stopword removal) xoá hẳn các cột như "the", "is", nên làm đổi số chiều. (2) đúng: chuẩn hoá từ (word normalization) như stemming, lemmatization hay sửa biến thể chính tả gộp "play", "plays", "played" về một cột, nên làm giảm số chiều. (3) sai: chuyển chữ thường (lowercasing) gộp "Data", "DATA" và "data" thành một cột, tức cũng làm giảm số chiều chứ không phải không ảnh hưởng. Vậy chỉ (1) và (2) đúng. "Only 1" bỏ sót phát biểu (2) vốn cũng đúng. "Only 2" bỏ sót phát biểu (1) về từ dừng. "Only 3" chọn đúng phát biểu duy nhất sai, vì với tweet viết hoa thường lẫn lộn, lowercasing thường làm giảm số cột đáng kể.

Đáp án đúng: "True". Xử lý ngôn ngữ tự nhiên là nhánh của khoa học máy tính và trí tuệ nhân tạo nghiên cứu sự tương tác giữa máy tính và ngôn ngữ của con người, theo hai chiều: hiểu ngôn ngữ (NLU) như phân tích cú pháp, trích xuất thông tin, phân loại cảm xúc, và sinh ngôn ngữ (NLG) như dịch máy, tóm tắt, chatbot trả lời. Phát biểu nêu đúng định nghĩa chuẩn này, trong đó chữ natural phân biệt các ngôn ngữ như tiếng Anh, tiếng Việt với ngôn ngữ hình thức như ngôn ngữ lập trình. Phương án "False" sai vì phủ nhận chính phạm vi của lĩnh vực; mọi bài toán NLP, từ tách từ tới mô hình ngôn ngữ lớn, đều là cách để máy tính đọc, xử lý hoặc tạo ra ngôn ngữ tự nhiên của con người.

Đáp án đúng: "[1, 7, 5]". Phương pháp trích đặc trưng bằng tần suất biểu diễn một câu bằng vector ba chiều gồm bias 1, tổng tần suất dương và tổng tần suất âm, với tổng lấy trên các từ khác nhau có mặt trong câu. Câu i love cat i also like dog có các từ khác nhau i, love, cat, also, like, dog. Cột pos: 2 + 1 + 1 + 1 + 1 + 1 = 7. Cột neg: 2 + 0 + 1 + 0 + 1 + 1 = 5. Thêm bias được [1, 7, 5]. "[1, 9, 7]" là kết quả khi cộng từ i hai lần vì nó xuất hiện hai lần trong câu, mỗi cột thêm 2; cộng theo từng lần xuất hiện có trong một số bản cài đặt, nhưng định nghĩa đặc trưng tần suất cộng mỗi từ của từ vựng có mặt trong câu đúng một lần. "[1, 2, 1, 1, 2, 1, 1, 1, 2, 0, 1, 2, 0, 1, 1]" và "[1, 2, 1, 1, 2, 1, 1, 1, 1, 2, 0, 1, 2, 0, 1, 1]" liệt kê tần suất từng từ thành vector dài, không phải dạng ba chiều mà phương pháp này tạo ra; mục đích của nó chính là nén cả câu về hai con số pos và neg.

Đáp án đúng: "Lemmatization". Chuẩn hoá từ khoá là đưa các biến thể về một dạng gốc để so khớp, và cả lemmatization lẫn stemming đều làm việc này; điểm phân biệt nằm ở cụm meaningful base form. Lemmatization (đưa về dạng từ điển) dùng từ điển và thông tin từ loại để trả về lemma là một từ có nghĩa thật, như studies thành study, better thành good. "Stemming" (cắt gốc) cũng chuẩn hoá từ khoá và về nguyên tắc cũng là câu trả lời hợp lệ, nhưng nó cắt hậu tố bằng luật như thuật toán Porter nên thường cho ra gốc không phải từ có nghĩa, như studies thành studi, vì vậy khi câu hỏi nhấn vào dạng gốc có nghĩa và chỉ cho chọn một, lemmatization là phương án sát nhất. "Levenshtein distance" là khoảng cách sửa, đếm số thao tác chèn, xoá, thay để biến chuỗi này thành chuỗi kia, dùng cho sửa lỗi chính tả, không trả về dạng gốc. "Morphing" không phải kỹ thuật chuẩn hoá văn bản, đó là thuật ngữ biến hình trong đồ hoạ.

Đáp án đúng: "Infinity". Perplexity đo mức một mô hình ngôn ngữ bị bất ngờ trước tập kiểm thử, bằng nghịch đảo xác suất của chuỗi kiểm thử lấy căn bậc N, với N là số từ. Mô hình không làm trơn ước lượng P(từ | lịch sử) bằng tỉ lệ đếm trong dữ liệu huấn luyện, nên từ chưa thấy (unseen word) có đếm bằng 0 và xác suất bằng 0; chỉ một thừa số 0 cũng làm cả tích bằng 0, và nghịch đảo của 0 là vô cực, vì thế perplexity bằng vô cực. Đây là lý do mô hình thực tế luôn làm trơn hoặc dùng token UNK. "0" sai vì perplexity có cận dưới là 1, đạt được khi mô hình gán xác suất 1 cho mọi từ đúng, không bao giờ về 0. "any non-zero value" quá chung chung, không nêu được hệ quả cụ thể của xác suất 0. "None of the mentioned" sai vì vô cực đã có trong các lựa chọn và là kết quả chính xác.

Đáp án đúng: "1 and 3". Chuẩn hoá từ khoá là đưa các biến thể về một dạng gốc: lemmatization (từ nguyên hoá) dùng từ điển và từ loại để trả về dạng từ điển (better thành good, studies thành study), còn stemming (cắt gốc) cắt hậu tố theo luật như Porter (connected thành connect); cả hai đều làm các dạng khác nhau của một từ khớp nhau khi tìm kiếm hay đếm. Levenshtein là khoảng cách chỉnh sửa, đếm số thao tác chèn, xoá, thay ký tự để biến chuỗi này thành chuỗi kia, dùng sửa lỗi chính tả hay so khớp mờ, không trả về dạng gốc. Soundex mã hoá từ theo cách phát âm (Robert và Rupert cùng mã R163) để so khớp tên đọc giống nhau. Do đó "1 and 2" sai vì kèm Levenshtein, "2 and 4" sai vì cả hai đều là kỹ thuật so khớp chuỗi chứ không chuẩn hoá, và "1, 2 and 3" sai vì thêm Levenshtein vào.

Đáp án đúng: "FSA". FSA (finite state automaton, ôtômat hữu hạn trạng thái) đọc một chuỗi và chỉ trả lời chấp nhận hay không, tức nhận diện một tập chuỗi. FST (finite state transducer, bộ chuyển đổi hữu hạn trạng thái) mở rộng FSA bằng cách gắn cặp ký hiệu vào và ra trên mỗi cung, nên nó ánh xạ giữa hai mức biểu diễn, như từ dạng bề mặt cats sang dạng từ vựng cat +N +PL. Nhờ đó FST được dùng trong hình thái học hai mức để biểu diễn từ điển (lexicon) cùng luật chính tả. "FST" không thể là đáp án vì một khái niệm không thể là phiên bản nâng cao của chính nó. "DAWG" (directed acyclic word graph) là cấu trúc nén để lưu tập từ và tra cứu nhanh, chỉ nhận diện từ chứ không chuyển đổi. "Stemmer Algorithm" như Porter cắt hậu tố bằng luật kinh nghiệm, không phải loại ôtômat mà FST được mở rộng ra.

Đáp án đúng: "Syntax Analysis". Syntax analysis (phân tích cú pháp, còn gọi parsing) kiểm tra cách sắp xếp từ trong câu theo quy tắc ngữ pháp và dựng cấu trúc cho thấy từ nào quan hệ với từ nào; thứ tự từ quan trọng vì The dog bit the man và The man bit the dog dùng cùng các từ nhưng nghĩa khác hẳn, còn chuỗi bit dog the man the thì bị bác vì sai cú pháp. "Semantic Analysis" (phân tích ngữ nghĩa) lấy nghĩa của từ và câu, kiểm tra câu có hợp nghĩa hay không, như colorless green ideas đúng ngữ pháp nhưng vô nghĩa. "Lexical Analysis" (phân tích từ vựng) làm việc ở mức từ đơn lẻ: tách văn bản thành từ, đoạn, câu và nhận biết cấu trúc của từ, chưa xét thứ tự giữa các từ. "Pragmatic Analysis" (phân tích ngữ dụng) xét cách ngữ cảnh giao tiếp và ý định người nói chi phối cách hiểu câu.

Đáp án đúng: "Survivors". Thuật toán Viterbi là quy hoạch động để tìm chuỗi trạng thái ẩn có xác suất cao nhất trong HMM; tại mỗi bước thời gian, với từng trạng thái, nó chỉ giữ lại một đường đi tốt nhất dẫn tới trạng thái đó (lưu xác suất lớn nhất cùng con trỏ quay lui) và loại bỏ mọi đường đi kém hơn. Những đường đi được giữ lại ấy gọi là đường sống sót (survivor paths), và khi tới bước cuối, lần ngược theo con trỏ của survivor tốt nhất sẽ ra chuỗi nhãn tối ưu. "Defenders" không phải thuật ngữ dùng trong Viterbi hay lý thuyết giải mã. "Destroyers" cũng không có nghĩa kỹ thuật nào; các đường bị loại chỉ đơn giản là bị bỏ, không có tên riêng. "Carriers" trong viễn thông chỉ sóng mang, còn trong Viterbi không có khái niệm này để gọi các đường được chọn.

Đáp án đúng: "Representation". Trong NLP, thành phần hiểu ngôn ngữ tự nhiên (NLU) phải ánh xạ câu đầu vào thành một biểu diễn (representation) mà máy xử lý được, như cây cú pháp, dạng logic, khung ngữ nghĩa hay vectơ nhúng, rồi thành phần sinh ngôn ngữ (NLG) đi ngược từ biểu diễn đó ra câu chữ; vì vậy biểu diễn là thành phần quan trọng, hiểu theo đúng nghĩa biến đầu vào thành cấu trúc bên trong chứ không phải nghĩa trình bày thông thường. "Description" là văn miêu tả, một thể loại văn bản tả người, vật, cảnh. "Exposion" chỉ kiểu văn thuyết minh, giải thích một vấn đề. "Narration" là văn tự sự, kể lại chuỗi sự kiện. Các thể loại văn bản như vậy là đối tượng mà NLP có thể xử lý, không phải thành phần cấu tạo nên một hệ NLP.

Đáp án đúng: "Part-of-speech tagging.". Duck có thể là danh từ (con vịt) hoặc động từ (cúi né) và chỉ ngữ cảnh mới quyết định, như trong câu I saw her duck. POS tagging (gán nhãn từ loại) gán cho mỗi từ trong câu một nhãn như NN hay VB dựa trên các từ xung quanh, bằng HMM, CRF hay mạng nơ-ron, nên giải đúng loại nhập nhằng từ loại này. "Lexical analysis" là mức tách từ, nhận diện từ vựng và hình thái; nó có thể cho biết duck có hai từ loại khả dĩ trong từ điển nhưng không chọn từ loại theo ngữ cảnh. "Semantic analysis" xử lý nghĩa của câu, đứng sau bước xác định từ loại và dựa vào kết quả đó. "Pragmatic analysis" diễn giải ý định của người nói trong tình huống, là mức cao nhất, không phải nơi xác định một từ là danh từ hay động từ.

Đáp án đúng: "Both CBOW and Skip-gram are shallow neural network models". word2vec có hai kiến trúc: CBOW đoán từ trung tâm từ các từ ngữ cảnh, Skip-gram đoán từ ngữ cảnh từ từ trung tâm; cả hai là mạng nông chỉ gồm lớp vào, một lớp chiếu (projection) tuyến tính và lớp ra softmax, ma trận trọng số học được chính là vector từ. "The architecture of word2vec consists of only two layers - continuous bag of words and skip-gram model" sai vì CBOW và skip-gram là hai mô hình thay thế nhau, chọn một trong hai khi huấn luyện, chứ không phải hai lớp xếp chồng của một mạng. "Continuous bag of word (CBOW) is a Recurrent Neural Network model" sai vì CBOW không có kết nối hồi quy, nó lấy trung bình vector ngữ cảnh và bỏ qua thứ tự từ, đúng như chữ bag of words. "All of the others" sai vì hai phát biểu vừa bác là sai, chỉ một phát biểu đúng.