Câu hỏi: NLP301c Xử lý ngôn ngữ tự nhiên – Bộ ôn tập cuối kỳ số 2

Đáp án đúng: "ELMo". Embedding ngữ cảnh (contextual) cho cùng một từ những vector khác nhau tùy câu chứa nó, nên bank trong river bank và trong bank account có hai biểu diễn khác nhau. ELMo (Embeddings from Language Models) lấy trạng thái ẩn của mô hình ngôn ngữ LSTM hai chiều chạy trên cả câu, nên vector của mỗi từ phụ thuộc toàn bộ ngữ cảnh. "Word2Vec" học một vector cố định cho mỗi từ; sau khi huấn luyện, mọi lần xuất hiện của từ đều dùng chung vector đó nên là embedding tĩnh. "GloVe" cũng tĩnh, học từ ma trận đồng xuất hiện trên toàn kho ngữ liệu, mỗi từ đúng một vector. "TF-IDF" thậm chí không phải embedding học được mà là trọng số thống kê theo tần suất từ trong văn bản và độ hiếm trong kho, cho vector thưa không phụ thuộc ngữ cảnh câu.

Đáp án đúng: "Word embedding technique". Word2Vec do Mikolov và cộng sự tại Google công bố năm 2013 học cho mỗi từ một vectơ đặc (dense vector) vài trăm chiều bằng một mạng nông với hai kiến trúc CBOW (đoán từ giữa từ các từ ngữ cảnh) và Skip-gram (đoán ngữ cảnh từ từ giữa); các từ xuất hiện trong ngữ cảnh giống nhau nhận vectơ gần nhau, nên nó là kỹ thuật nhúng từ (word embedding). "Classification model" sai vì Word2Vec không gán nhãn cho văn bản; vectơ của nó chỉ được dùng làm đặc trưng đầu vào cho một bộ phân lớp khác. "Rule-based system" sai vì không có luật viết tay nào, mọi vectơ đều học từ kho ngữ liệu. "Parsing technique" sai vì phân tích cú pháp dựng cây cấu trúc câu, còn Word2Vec không xét quan hệ ngữ pháp giữa các từ.

Đáp án đúng: "Term Frequency". TF là tần suất thuật ngữ (Term Frequency), đo số lần một từ t xuất hiện trong tài liệu d, thường chuẩn hoá bằng cách chia cho tổng số từ của tài liệu: TF(t, d) = số lần t xuất hiện trong d chia cho tổng số từ trong d. Nó là nửa đầu của trọng số TF-IDF, kết hợp với IDF (Inverse Document Frequency) để hạ trọng số các từ xuất hiện ở hầu hết tài liệu. "Textual Function" không phải thuật ngữ chuẩn trong NLP, không có định nghĩa nào gắn với chữ viết tắt TF. "Text Format" chỉ định dạng của tệp văn bản (txt, html…), là chuyện lưu trữ, không phải một đại lượng thống kê. "Topic Finder" gợi tới bài toán tìm chủ đề, vốn được gọi là topic modeling và giải bằng các mô hình như LDA, chứ không phải nghĩa của TF.

Đáp án đúng: "4, 4, 2". Trong câu I am planning to visit New Delhi to attend Analytics Vidhya Delhi Hackathon, các động từ là am, planning, visit, attend nên B = 4; các từ xuất hiện nhiều hơn một lần là to (hai lần) và Delhi (hai lần) nên C = 2. Riêng giá trị A là chỗ tranh cãi: nếu coi mỗi tên riêng nhiều chữ là một danh từ (New Delhi, Analytics Vidhya, Delhi, Hackathon) và không tính đại từ I thì A = 4, khớp trọn "4, 4, 2"; còn nếu đếm từng token I, New, Delhi, Analytics, Vidhya, Delhi, Hackathon thì A = 7 và không phương án nào khớp đủ ba số. Dù đếm cách nào, "4, 4, 2" vẫn là phương án duy nhất đúng cả B = 4 lẫn C = 2. "5, 5, 2" sai ở số động từ, câu chỉ có bốn động từ chứ không phải năm. "5, 5, 0" sai cả số động từ lẫn số từ lặp, vì bỏ qua việc to và Delhi đều xuất hiện hai lần. "7, 5, 1" có giá trị A trùng cách đếm token nói trên nhưng đếm thừa một động từ và chỉ thấy một từ lặp, nên sai hai trong ba số.

Đáp án đúng: "K * Log(3) / T". TF (term frequency, tần suất từ) chuẩn hoá theo độ dài văn bản bằng số lần từ xuất hiện chia tổng số từ của văn bản, nên TF = K/T. IDF (inverse document frequency, tần suất văn bản nghịch đảo) bằng log của tổng số văn bản chia số văn bản chứa từ: IDF = log(N/(N/3)) = log(3). Nhân hai thành phần được TF-IDF = (K/T) × log(3), đúng dạng K nhân log(3) rồi chia T. "KT * Log(3)" nhân K với T thay vì chia, tức coi văn bản càng dài thì từ càng quan trọng, ngược với ý nghĩa chuẩn hoá theo độ dài. "T * Log(3) / K" đảo tỉ số TF thành T/K, khiến từ xuất hiện càng nhiều lại có trọng số càng thấp. "Log(3) / KT" đặt cả K vào mẫu số nên trọng số cũng giảm khi từ lặp lại nhiều, trái với vai trò của TF là tăng trọng số cho từ xuất hiện thường xuyên trong văn bản.

Đáp án đúng: "Entities". Named Entity Recognition (nhận dạng thực thể có tên) tìm trong văn bản các cụm từ chỉ thực thể có tên và gán loại cho chúng như PERSON, ORGANIZATION, LOCATION, DATE; ví dụ trong câu Sundar Pichai leads Google in California, nó đánh dấu người, tổ chức và địa điểm, và thường được giải như bài toán gán nhãn chuỗi theo lược đồ BIO. "Relations" là đầu ra của trích xuất quan hệ (relation extraction), bước thường chạy sau NER để biết hai thực thể liên hệ thế nào, như ai lãnh đạo công ty nào. "Tokens" là kết quả của tách từ (tokenization), bước tiền xử lý đứng trước NER. "Topics" là chủ đề mà mô hình chủ đề như LDA rút ra từ cả tập tài liệu, không phải các cụm từ cụ thể trong câu.

Đáp án đúng: "Temporal model". Hidden Markov Model (mô hình Markov ẩn) là một mô hình xác suất theo thời gian: thế giới được chia thành các lát thời gian rời rạc, và ở mỗi lát t mô hình thêm vào một biến trạng thái ẩn X_t cùng một biến quan sát E_t, nối với nhau bằng mô hình chuyển trạng thái P(X_t | X_t−1) và mô hình cảm biến P(E_t | X_t). Việc bổ sung biến theo từng bước thời gian chính là đặc trưng của temporal model. "Reality model" không phải khái niệm có trong lý thuyết HMM hay suy luận xác suất. "Probability model" đúng ở chỗ HMM là mô hình xác suất, nhưng một mô hình xác suất nói chung (như Naive Bayes) có tập biến cố định, không có trục thời gian để thêm biến theo từng lát, nên không trả lời được chỗ các biến bổ sung nằm ở đâu. "All of the others" sai vì kéo theo cả "Reality model", vốn không tồn tại.

Đáp án đúng: "Word Sense Disambiguation". Semantic ambiguity (nhập nhằng ngữ nghĩa) xảy ra khi một từ có nhiều nghĩa, ví dụ bank là ngân hàng hay bờ sông; Word Sense Disambiguation (khử nhập nhằng nghĩa từ) là tác vụ chọn đúng nghĩa của từ trong ngữ cảnh, bằng thuật toán Lesk đối chiếu định nghĩa trong WordNet hoặc bằng bộ phân loại học từ ngữ liệu. "Fuzzy Logic" (logic mờ) là cách suy luận với giá trị chân lý từ 0 tới 1, dùng cho điều khiển và ra quyết định, không chọn nghĩa cho từ. "Shallow Semantic Analysis" (phân tích ngữ nghĩa nông) như gán vai nghĩa xác định ai làm gì với ai trong câu, nó nhận diện cấu trúc vị từ và tham tố chứ không phải kỹ thuật chuyên khử nghĩa từ. "Syntactic analysis" (phân tích cú pháp) giải quyết nhập nhằng cấu trúc, tức từ nào gắn vào cụm nào, chứ không quyết định từ đó mang nghĩa nào.

Đáp án đúng: "Digital assistance, chatbots, Text summarization, text retrieval, sentiment analysis, translation etc.". NLP (xử lý ngôn ngữ tự nhiên) là lĩnh vực giúp máy hiểu và sinh ngôn ngữ con người, nên ví dụ của nó là các ứng dụng làm việc trực tiếp với văn bản hay lời nói: trợ lý ảo hiểu câu lệnh, chatbot hội thoại, tóm tắt văn bản, truy xuất văn bản, phân tích cảm xúc và dịch máy. "Clustering and differentiating patterns." là kỹ thuật học máy chung (phân cụm, nhận dạng mẫu) áp dụng cho mọi loại dữ liệu như ảnh, giao dịch, tín hiệu cảm biến; NLP có thể dùng phân cụm văn bản nhưng bản thân phân cụm không phải một ví dụ ứng dụng NLP. "Deep Learning, Machine Learning, AI etc." là các lĩnh vực và phương pháp bao trùm hoặc làm công cụ cho NLP, không phải ví dụ về NLP; quan hệ đúng là NLP là một nhánh của AI và dùng học máy, học sâu để giải bài toán ngôn ngữ. "None of Above" sai vì đã có một danh sách ứng dụng NLP đúng.

Đáp án đúng: "Lexical". WordNet là cơ sở dữ liệu từ vựng (lexical database) tiếng Anh do Đại học Princeton xây dựng, gom danh từ, động từ, tính từ, trạng từ thành các synset (tập từ đồng nghĩa biểu thị một khái niệm) và nối chúng bằng quan hệ ngữ nghĩa như hypernym (thượng vị), hyponym (hạ vị), meronym (bộ phận), antonym (trái nghĩa); trong NLTK nó được dùng cho lemmatization, đo độ tương đồng nghĩa và khử nhập nhằng nghĩa từ. "Symbol" không phải tên gọi loại cơ sở dữ liệu này, WordNet lưu nghĩa và quan hệ chứ không lưu ký hiệu. "Word" quá chung chung, chỉ gợi một danh sách từ mà không nói tới việc tổ chức theo nghĩa và quan hệ từ vựng vốn là đặc trưng của WordNet. "Annotation" là cơ sở dữ liệu chú giải, như kho ngữ liệu gán nhãn từ loại; WordNet là tài nguyên từ vựng, không phải tập văn bản được gán nhãn.

Đáp án đúng: "LDA". Topic modeling (mô hình hoá chủ đề) là bài toán không giám sát tìm các chủ đề ẩn trong một tập văn bản. LDA (Latent Dirichlet Allocation, do Blei, Ng và Jordan đề xuất) giả định mỗi tài liệu là một hỗn hợp nhiều chủ đề, mỗi chủ đề là một phân phối xác suất trên từ vựng, với tiên nghiệm Dirichlet; huấn luyện xong ta có phân phối chủ đề cho từng tài liệu và danh sách từ đặc trưng cho từng chủ đề. "RNN" (mạng nơ-ron hồi quy) là kiến trúc xử lý chuỗi theo thứ tự, dùng cho mô hình ngôn ngữ hay gán nhãn chuỗi, không phải phương pháp chuẩn để khám phá chủ đề. "SVM" (Support Vector Machine) là bộ phân loại có giám sát, cần nhãn sẵn, còn topic modeling không có nhãn. "GRU" (Gated Recurrent Unit) là một biến thể của RNN có cổng cập nhật và cổng đặt lại, cũng là mô hình chuỗi chứ không phải mô hình chủ đề.

Đáp án đúng: "The token is outside any named entity". Lược đồ BIO gán mỗi token một trong ba loại nhãn: B (Begin) cho token mở đầu một thực thể, I (Inside) cho token nằm bên trong thực thể sau token đầu, và O (Outside) cho token không thuộc thực thể nào. Ví dụ Barack Obama visited Hanoi được gán B-PER I-PER O B-LOC, trong đó visited mang O. "The token is the end of an entity" mô tả nhãn E (End) hoặc L (Last) của các lược đồ mở rộng BIOES/BILOU, không có trong BIO. "The token is the only token in an entity" mô tả nhãn S (Single) hoặc U (Unit) của BIOES/BILOU; trong BIO thực thể một token chỉ mang B. "The token is overlapping with two entities" sai vì BIO gán đúng một nhãn cho mỗi token nên không biểu diễn được thực thể chồng lấn hay lồng nhau, và O lại chính là dấu hiệu token nằm ngoài mọi thực thể.

Đáp án đúng: "Add-1 smoothing". Làm trơn (smoothing) trong mô hình n-gram chuyển bớt xác suất từ các sự kiện đã thấy sang sự kiện chưa thấy để tránh xác suất bằng 0. Add-1 (Laplace) cộng 1 vào mọi số đếm; vì từ vựng lớn nên số bigram chưa thấy chiếm tuyệt đại đa số, khối xác suất bị dồn sang chúng quá nhiều và xác suất của các bigram phổ biến bị giảm mạnh. "Add-k smoothing" cộng một số k nhỏ hơn 1 nên giảm bớt hiện tượng trên, dù vẫn phải chọn k phù hợp. "Witten-Bell smoothing" ước lượng khối xác suất dành cho sự kiện mới dựa trên số loại từ khác nhau đã từng theo sau một ngữ cảnh, nên phân bổ hợp lý hơn. "Good-Turing smoothing" dùng số sự kiện chỉ xuất hiện một lần để ước lượng xác suất của sự kiện chưa thấy, cũng được thiết kế để không cho quá nhiều. Vì thế Add-1 là ví dụ điển hình của kỹ thuật cho sự kiện chưa thấy quá nhiều xác suất.

Đáp án đúng: "Derivational". Hình thái học phái sinh tạo từ mới bằng cách thêm phụ tố vào gốc, và phụ tố đó thường đổi từ loại kèm đổi nghĩa: happy (tính từ) thành happiness (danh từ), teach (động từ) thành teacher (danh từ chỉ người làm), kind thành unkind mang nghĩa ngược lại. "Inflectional" (biến tố) chỉ thêm thông tin ngữ pháp như số nhiều, thì, cấp so sánh (cat thành cats, walk thành walked), từ vẫn giữ nguyên từ loại và nghĩa từ vựng. "Cliticization" là gắn một từ dạng rút gọn vào từ đứng cạnh, như I'm hay he'll, không tạo ra từ loại mới. "Text-Proofing" là việc soát lỗi chính tả, ngữ pháp trong văn bản, một ứng dụng xử lý văn bản chứ không phải một loại hình thái học.

Đáp án đúng: "Analyzing & Strings". Phân tích cú pháp (syntactic analysis, parsing) được định nghĩa là quá trình phân tích (analyzing) các chuỗi (strings) ký hiệu của ngôn ngữ tự nhiên sao cho phù hợp với luật của văn phạm hình thức (formal grammar); bộ phân tích nhận chuỗi từ, kiểm tra nó có được sinh ra bởi văn phạm hay không và dựng cây cú pháp, nên câu "The school goes to boy" bị loại dù từng từ đều hợp lệ. "Defining & Groups" sai vì parsing không định nghĩa ký hiệu mà kiểm tra cấu trúc, và đầu vào là chuỗi có thứ tự chứ không phải nhóm không thứ tự. "Reducing & Arrays" dùng từ "reduce" vốn chỉ một thao tác bên trong bộ phân tích shift-reduce, không phải định nghĩa của cả quá trình, còn mảng là cấu trúc dữ liệu lập trình. "Reviewing & Letters" sai vì đơn vị phân tích cú pháp là từ và cụm từ trong chuỗi, không phải từng chữ cái.

Đáp án đúng: "closed-class morphemes". Hình thái học chia hình vị (morpheme) tự do thành hai nhóm: content morphemes (hình vị nội dung) mang nghĩa từ vựng như danh từ, động từ, tính từ, và function morphemes (hình vị chức năng) mang nghĩa ngữ pháp như mạo từ the, giới từ of, liên từ and, đại từ. Nhóm chức năng gần như không nhận thêm thành viên mới theo thời gian nên được gọi là lớp đóng, closed class. "open-class morphemes" là tên của nhóm hình vị nội dung, vì ngôn ngữ liên tục sinh danh từ, động từ mới như selfie hay google, tức là ngược lại với hình vị chức năng. "sub-class morphemes" không phải thuật ngữ của hình thái học, không có cách phân lớp nào mang tên này. "super-class morphemes" cũng không phải thuật ngữ ngôn ngữ học, chỉ là phương án nhiễu đặt tên theo mẫu.

Đáp án đúng: "All of the others". Quá trình hiểu ngôn ngữ thường được chia thành năm giai đoạn: phân tích hình thái và từ vựng (tách từ, nhận diện gốc và phụ tố), phân tích cú pháp (cấu trúc câu), phân tích ngữ nghĩa (nghĩa của câu), tích hợp diễn ngôn (liên kết câu với các câu trước, như xác định đại từ trỏ tới ai) và phân tích ngữ dụng (ý định thực trong hoàn cảnh). "Morphological and Lexical Analysis" là giai đoạn đầu, đúng nhưng chưa đủ. "Syntactic Analysis and Semantic Analysis" là hai giai đoạn giữa, cũng đúng nhưng chỉ là một phần. "Discourse Integration, Pragmatic Analysis" là hai giai đoạn cuối, đúng nhưng thiếu các mức phân tích bên dưới. Mỗi phương án riêng lẻ chỉ nêu một đoạn của chuỗi, nên phương án gộp mới mô tả đầy đủ các thành phần của NLP.

Đáp án đúng: "Hyponymy, Homonymy, Polysemy". Phân tích ngữ nghĩa (semantic analysis) xét nghĩa của từ và quan hệ giữa các nghĩa, và ba quan hệ từ vựng cơ bản đều thuộc phần này: hyponymy (quan hệ hạ vị, như rose là một loại flower), homonymy (đồng âm khác nghĩa, các nghĩa không liên quan như bank bờ sông và bank ngân hàng) và polysemy (đa nghĩa, một từ có nhiều nghĩa liên quan như head của người và head của tổ chức). Vì cả ba đều là thành phần của phân tích ngữ nghĩa nên chỉ phương án liệt kê đủ cả ba mới đúng. "Hyponymy" đúng nhưng thiếu, nó chỉ là quan hệ bao hàm giữa khái niệm rộng và hẹp. "Homonymy" cũng đúng nhưng chỉ mô tả trường hợp trùng hình thức mà khác nghĩa. "Polysemy" cũng chỉ là một quan hệ trong số đó, nói về nhiều nghĩa có liên hệ của cùng một từ.

Đáp án đúng: "Declarations". Theo phân loại hành động ngôn từ (speech act) của Searle, declarations (tuyên bố) là những phát ngôn mà chỉ cần nói ra trong đúng thẩm quyền là làm thay đổi thực tế thể chế, như bổ nhiệm, tuyên án, tuyên bố kết hôn. Câu "I appoint you chairman of the committee" do người có quyền nói ra thì lập tức khiến người nghe trở thành chủ tịch ủy ban, nên là tuyên bố. "Commissives" (cam kết) ràng buộc chính người nói vào một hành động tương lai, như hứa hay thề, còn ở đây người nói không hứa làm gì. "Directives" (cầu khiến) cố khiến người nghe làm một việc, như ra lệnh hay yêu cầu, trong khi câu bổ nhiệm không đòi người nghe hành động mà tự nó tạo ra kết quả. "Representatives" (trình bày) mô tả trạng thái thế giới và có thể đúng hoặc sai, như khẳng định hay kể lại, còn câu bổ nhiệm không đúng không sai mà chỉ thành công hoặc không.

Đáp án đúng: "1,2,5,3,4". Quy trình dựng bộ phân loại văn bản đi theo luồng dữ liệu: trước hết làm sạch văn bản (bỏ ký tự rác, chuẩn hoá chữ hoa thường, bỏ stop words), sau đó gán nhãn lớp cho từng văn bản để có dữ liệu huấn luyện, tiếp đến biến văn bản thành biến dự báo dạng số (bag of words, TF-IDF hoặc embedding), rồi mới huấn luyện bằng gradient descent, cuối cùng tinh chỉnh siêu tham số như tốc độ học hay mức điều chuẩn. "1,2,3,4,5" sai vì chạy gradient descent và tinh chỉnh trước khi có đặc trưng số, mà thuật toán tối ưu không làm việc trực tiếp trên chuỗi ký tự. "1,3,4,2,5" sai vì huấn luyện xong mới gán nhãn, trong khi học có giám sát cần nhãn để tính hàm mất mát. "1,3,4,5,2" sai vì để gán nhãn ở bước cuối, tức huấn luyện và tinh chỉnh mà không có nhãn lẫn đặc trưng đúng thứ tự.