Tất cả câu hỏi

Đáp án đúng: "Sentiment classification". Kiến trúc RNN nhiều–một (many-to-one) đọc cả một chuỗi đầu vào qua nhiều bước thời gian rồi chỉ xuất một kết quả ở bước cuối. Phân loại cảm xúc đúng kiểu này: mạng đọc lần lượt các từ của câu đánh giá, trạng thái ẩn cuối tóm tắt cả câu và được đưa qua lớp softmax để ra một nhãn duy nhất như tích cực hay tiêu cực. "Machine translation" (dịch máy) nhận một chuỗi và sinh ra một chuỗi khác có độ dài có thể khác, nên dùng kiến trúc nhiều–nhiều dạng encoder–decoder (seq2seq). "Image caption generation" (sinh chú thích ảnh) nhận một đầu vào là ảnh và sinh ra chuỗi từ, tức kiểu một–nhiều (one-to-many). "Character generation" (sinh ký tự) xuất ra liên tiếp nhiều ký tự, mỗi bước một ký tự, nên là kiểu một–nhiều hoặc nhiều–nhiều chứ không dừng ở một đầu ra.

Đáp án đúng: "Hidden gate". Câu hỏi phủ định, cần tìm thứ không phải cổng của LSTM. Một LSTM chuẩn có ba cổng, đều là lớp sigmoid cho giá trị từ 0 tới 1 để điều tiết luồng thông tin qua trạng thái ô nhớ (cell state); trạng thái ẩn (hidden state) là đầu ra của ô tại mỗi bước chứ không phải một cổng, nên "Hidden gate" không tồn tại. "Input gate" là cổng thật, quyết định bao nhiêu thông tin ứng viên mới được ghi vào ô nhớ. "Forget gate" cũng là cổng thật, quyết định phần nào của ô nhớ cũ bị xoá đi, nhờ nó LSTM giữ được phụ thuộc xa mà vẫn bỏ được thông tin đã hết giá trị. "Output gate" là cổng thứ ba, quyết định phần nào của ô nhớ sau khi qua tanh được đưa ra làm trạng thái ẩn. Vì ba cổng này đều có trong LSTM nên chúng không phải đáp án.

Đáp án đúng: "Analyzing sentence structure". Parsing (phân tích cú pháp) xác định cấu trúc ngữ pháp của câu: cây thành phần (constituency) cho biết các từ gom thành cụm danh từ, cụm động từ ra sao theo một văn phạm, còn cây phụ thuộc (dependency) cho biết từ nào bổ nghĩa cho từ nào, như chủ ngữ, tân ngữ của động từ chính. Kết quả này phục vụ các bước sau như phân tích ngữ nghĩa hay trích xuất quan hệ. "Finding topics" là mô hình chủ đề (topic modeling) như LDA, làm việc trên tần suất từ ở mức tài liệu, không quan tâm cấu trúc câu. "Translating text" là dịch máy, một ứng dụng có thể dùng kết quả parsing nhưng không phải mục đích của parsing. "Extracting keywords" là trích từ khoá bằng TF-IDF hay TextRank, chọn từ quan trọng chứ không phân tích quan hệ cú pháp.

Đáp án đúng: "It depicts analyzing, identifying and description of the structure of words. It includes dividing a text into paragraphs, words and the sentences.". Morphological and lexical analysis (phân tích hình thái và từ vựng) là mức đầu tiên của NLP: nhận biết và mô tả cấu trúc của từ qua các hình vị, đồng thời chia văn bản thành đoạn, câu và từ, tức bao gồm tokenization và tách câu. "This component transfers linear sequences of words into structures." là định nghĩa của phân tích cú pháp: nhận chuỗi từ tuyến tính và dựng cấu trúc cây cho thấy quan hệ giữa các từ, mức này làm việc trên kết quả của phân tích từ vựng. "This only abstracts the dictionary meaning or the real meaning from the given context." là định nghĩa của phân tích ngữ nghĩa, rút ra nghĩa của từ và câu. "All of the others" sai vì hai mô tả vừa bác thuộc hai mức phân tích khác, chỉ một mô tả đúng với phân tích hình thái và từ vựng.

Đáp án đúng: "Text Realization". Trong sinh ngôn ngữ tự nhiên (Natural Language Generation), quy trình kinh điển gồm ba giai đoạn: lập kế hoạch văn bản, lập kế hoạch câu, rồi hiện thực hoá. Text realization (hiện thực hoá văn bản) nhận kế hoạch câu và ánh xạ nó thành cấu trúc câu thật đúng ngữ pháp, chọn trật tự từ, chia động từ, thêm mạo từ và dấu câu. "Text planning" (lập kế hoạch văn bản) đứng đầu quy trình, chọn nội dung cần nói và sắp xếp thứ tự các ý, chưa đụng tới câu chữ. "Sentence planning" (lập kế hoạch câu) chọn từ, gộp ý vào câu và quyết định cách gọi tên đối tượng, tức chính là bước tạo ra kế hoạch câu, chứ không chuyển kế hoạch đó thành câu hoàn chỉnh. "Text Summarization" (tóm tắt văn bản) là một bài toán ứng dụng riêng, rút gọn văn bản có sẵn, không phải một giai đoạn trong quy trình sinh câu.

Đáp án đúng: "Tanh". Trong RNN cơ bản (vanilla hay Elman RNN), trạng thái ẩn được cập nhật theo h(t) = tanh(W·h(t−1) + U·x(t) + b): hàm tanh nén giá trị về khoảng (−1, 1), đối xứng quanh 0 nên trạng thái ẩn giữ được cả tín hiệu dương lẫn âm và ổn định hơn khi lặp qua nhiều bước, đạo hàm lớn nhất bằng 1 nên gradient suy giảm chậm hơn so với sigmoid. "ReLU" không bị chặn trên, khi nhân lặp qua các bước dễ làm trạng thái ẩn và gradient bùng nổ, nên chỉ được dùng trong vài biến thể về sau với cách khởi tạo đặc biệt. "Sigmoid" từng xuất hiện ở các mạng hồi quy đời đầu, nhưng trong công thức RNN chuẩn nó được dành cho các cổng của LSTM và GRU, nơi cần giá trị từ 0 tới 1 để đóng mở luồng thông tin. "Softmax" dùng ở tầng đầu ra để biến điểm số thành phân phối xác suất trên từ vựng, không dùng cho trạng thái ẩn.

Đáp án đúng: "VP → Verb NP". Trong văn phạm phi ngữ cảnh (context-free grammar), cụm eat a pizza là một cụm động từ VP gồm động từ eat và một cụm danh từ NP là a pizza (mạo từ cộng danh từ) làm tân ngữ, nên luật sinh tương ứng là động từ theo sau bởi cụm danh từ. "NP → Verb VP" sai vì vế trái là cụm danh từ, mà cụm danh từ không mở đầu bằng động từ rồi theo sau là một cụm động từ. "VP → Verb PP" mô tả động từ đi kèm cụm giới từ như go to school, nhưng a pizza không có giới từ nào. "VP → Verb NP PP" cần thêm một cụm giới từ sau tân ngữ như eat a pizza with a fork; cụm đang xét dừng ở a pizza nên luật này thừa một thành phần.

Đáp án đúng: "Knowing what you want rather than what you don’t want.". Câu này thuộc Neuro-Linguistic Programming (lập trình ngôn ngữ tư duy), cũng viết tắt NLP nhưng là một trường phái tâm lý ứng dụng và giao tiếp, nằm ngoài Natural Language Processing. Trong đó outcome thinking (tư duy theo kết quả) là thói quen đặt mục tiêu dưới dạng điều mình muốn đạt được, cụ thể và tích cực, thay vì xoay quanh vấn đề hay điều mình muốn tránh, ví dụ nói tôi muốn khoẻ mạnh thay vì tôi không muốn ốm. "Know about others" là hiểu người khác, gần với khái niệm tạo sự đồng cảm trong giao tiếp, không phải xác định kết quả mình mong muốn. "Know about the society None" nói về hiểu biết xã hội, cũng không liên quan đến việc định hướng mục tiêu cá nhân. "language" chỉ là ngôn ngữ nói chung, không mô tả một cách tư duy nào.

Đáp án đúng: "Hidden markov model". Suy luận xác suất theo thời gian (temporal probabilistic reasoning) là việc ước lượng trạng thái thế giới thay đổi qua các bước thời gian dựa trên chuỗi quan sát nhiễu, gồm các tác vụ lọc (filtering), dự báo (prediction), làm trơn (smoothing) và tìm chuỗi giải thích hợp lý nhất. Mô hình Markov ẩn biểu diễn đúng điều này bằng trạng thái ẩn, xác suất chuyển trạng thái và xác suất quan sát, với các thuật toán forward–backward và Viterbi. "Hill-climbing search" là tìm kiếm cục bộ để tối ưu một hàm mục tiêu, luôn đi tới trạng thái lân cận tốt hơn, không có mô hình xác suất hay trục thời gian. "Depth-first search" là tìm kiếm mù duyệt sâu trên không gian trạng thái xác định. "Breadth-first search" duyệt theo từng mức độ sâu, cũng là tìm kiếm mù trên đồ thị xác định, không xử lý sự bất định của quan sát.

Đáp án đúng: "Inverse document frequency". IDF của thuật ngữ t bằng log(N / df(t)), với N là tổng số tài liệu và df(t) là số tài liệu chứa t; thuật ngữ càng hiếm thì df càng nhỏ và IDF càng lớn, nên khi nhân vào TF nó nâng trọng số của từ hiếm, giàu thông tin, và kéo những từ có mặt khắp nơi như the, is về gần 0. Ví dụ với 1.000 tài liệu, từ có mặt trong 10 tài liệu có IDF = log(100), còn từ có mặt trong cả 1.000 tài liệu có IDF = log(1) = 0. "Term frequency" đếm số lần từ xuất hiện trong một tài liệu, nên từ càng phổ biến càng được trọng số cao, ngược với yêu cầu. "Word frequency" cũng chỉ là số đếm tần suất từ, ưu tiên từ thường gặp. "Bi-gram frequency" đếm cặp hai từ liền nhau, vẫn là số đếm thô, không có cơ chế phạt từ phổ biến.

Đáp án đúng: "Word Sense Disambiguation". WSD (khử nhập nhằng nghĩa từ) là bài toán chọn nghĩa đúng của một từ đa nghĩa trong ngữ cảnh cụ thể, ví dụ bass là cá vược hay âm trầm, bank là ngân hàng hay bờ sông. Các cách giải gồm thuật toán Lesk so độ trùng giữa ngữ cảnh và định nghĩa trong WordNet, bộ phân loại có giám sát dùng đặc trưng từ lân cận, hoặc embedding ngữ cảnh. "Fuzzy Logic" là logic mờ cho phép giá trị chân lý nằm giữa 0 và 1 để suy luận với khái niệm không rõ ranh giới như nóng, cao; nó không chọn nghĩa từ. "Shallow Semantic Analysis" như gán vai nghĩa (semantic role labeling) xác định ai làm gì với ai trong câu, có liên quan đến nghĩa nhưng không nhắm vào việc chọn nghĩa của từng từ đa nghĩa. "All of the others" sai vì chỉ WSD giải đúng vấn đề được mô tả.

Đáp án đúng gồm ba ý: "Number of clusters", "Distance metric" và "Number of centroids". K-means là thuật toán phân cụm không giám sát, dùng trong NLP để gom văn bản hay vector từ theo độ giống nhau. Ngoài tập điểm dữ liệu, nó cần số cụm k, mà mỗi cụm có đúng một tâm nên số cụm và số tâm là cùng một tham số nói theo hai cách; thuật toán khởi tạo k tâm, gán mỗi điểm vào tâm gần nhất theo một độ đo khoảng cách (thường là Euclid, với vector văn bản có thể dùng cosine), cập nhật tâm bằng trung bình các điểm trong cụm và lặp tới khi hội tụ, vì vậy độ đo khoảng cách cũng là đầu vào. "Class labels" không phải đầu vào vì k-means là học không giám sát, nó tự tìm nhóm từ dữ liệu chưa gán nhãn; nhãn lớp chỉ cần cho phân loại có giám sát hoặc để đánh giá kết quả phân cụm sau khi chạy.

Đáp án đúng: "Tokenization". Tokenization (tách token) là quá trình chia một chuỗi văn bản thành danh sách các token, thường là từ, dấu câu hoặc đơn vị dưới từ, ví dụ word_tokenize của NLTK biến một câu thành danh sách từ; nó là bước tiền xử lý đầu tiên để mọi bước sau có đơn vị làm việc. "Rooting" không phải thuật ngữ chuẩn trong NLP; việc đưa từ về gốc được gọi là stemming hay lemmatization. "Chunking" (phân đoạn nông) gom các token đã gán nhãn từ loại thành cụm như cụm danh từ, tức chạy sau tokenization chứ không tách chuỗi thành token. "Steaming" gần với stemming, là cắt hậu tố để đưa từ về dạng gốc, như "running" thành "run"; nó biến đổi từng token chứ không chia chuỗi thành danh sách token.

Đáp án đúng: "in a given corpus, if the most frequent word's frequency is 1, then the second frequent word's frequency is around 0.5;". Định luật Zipf nói tần suất của một từ tỉ lệ nghịch với thứ hạng của nó trong bảng tần suất, f(r) xấp xỉ C / r: từ hạng 1 có tần suất C, từ hạng 2 khoảng C/2, từ hạng 3 khoảng C/3; lấy tần suất từ đứng đầu làm 1 thì từ thứ hai khoảng 0.5, đúng như phát biểu được chọn. Phương án "head words take major portion in English vocabulary;" sai vì nhóm từ đầu bảng (head words) như the, of, and chỉ là một số rất ít loại từ; chúng chiếm phần lớn số lượt xuất hiện (token) chứ không chiếm phần lớn từ vựng, vốn chủ yếu là các từ hiếm ở đuôi. Phương án nói "removing head words helps more to reduce the storage" sai vì ma trận đặc (dense matrix) có kích thước số tài liệu nhân số loại từ, mỗi loại từ một cột bất kể tần suất; đuôi phân phối chứa vô số loại từ hiếm nên bỏ từ đuôi mới giảm nhiều cột, bỏ vài từ đầu bảng gần như không thay đổi kích thước. "smoothing is not necessary." sai vì chính Zipf cho thấy đa số loại từ rất hiếm và nhiều n-gram hợp lệ không hề xuất hiện trong kho ngữ liệu, nên làm trơn (smoothing) là cần thiết để tránh xác suất bằng 0.

Đáp án đúng: "12534". Một pipeline phân loại văn bản đi theo dòng dữ liệu: trước hết làm sạch văn bản (Text cleaning: bỏ ký tự thừa, chuẩn hoá chữ, bỏ stop word), rồi gán nhãn (Text annotation) để có dữ liệu huấn luyện có giám sát, tiếp theo biến văn bản thành đặc trưng số (Text to predictors, như bag-of-words, TF-IDF hay embedding), sau đó huấn luyện mô hình bằng thuật toán tối ưu như Gradient descent, cuối cùng tinh chỉnh siêu tham số (Model tuning) dựa trên kết quả kiểm định. Thứ tự đó là 1, 2, 5, 3, 4. "12345" đặt gradient descent trước bước chuyển văn bản thành số, trong khi thuật toán tối ưu không thể chạy trên chữ. "13425" huấn luyện và tinh chỉnh trước cả khi gán nhãn và tạo đặc trưng. "13452" cũng chạy gradient descent ngay sau làm sạch khi chưa có nhãn hay đặc trưng, và đẩy việc gán nhãn xuống cuối cùng.

Đáp án đúng: "Naive Bayes". Maximum likelihood estimation (ước lượng hợp lý cực đại) chọn tham số làm xác suất của dữ liệu quan sát lớn nhất; với Naive Bayes nghiệm có dạng đóng chỉ bằng đếm tần suất: P(c) bằng số văn bản lớp c chia tổng số văn bản, P(w|c) bằng số lần từ w xuất hiện trong lớp c chia tổng số từ của lớp c. Cần nói thẳng chỗ tranh cãi: "Maximum Entropy Model" cũng được huấn luyện bằng hợp lý cực đại, cụ thể là cực đại hoá log-likelihood có điều kiện bằng tối ưu lặp vì không có nghiệm dạng đóng, nên về lý thuyết nó cũng thoả câu hỏi; vì chỉ được chọn một, Naive Bayes được giữ do là ví dụ kinh điển của MLE ở dạng đóng. "Support Vector Machines" tìm siêu phẳng có lề lớn nhất bằng hàm mất mát hinge, không xây trên hàm hợp lý xác suất. "K Nearest Neighbor" là phương pháp phi tham số dựa trên khoảng cách, không có tham số nào để ước lượng, chỉ lưu dữ liệu và bỏ phiếu theo láng giềng.

Đáp án đúng: "Sentences". Trong ngữ pháp thành phần (constituency grammar), cụm từ (phrase) là các đơn vị trung gian được xây quanh một từ trung tâm, rồi các cụm ghép lại thành câu theo luật như S → NP VP. "Noun phrase" (cụm danh từ, ví dụ "the old man") có trung tâm là danh từ, là một loại cụm. "Verb phrase" (cụm động từ, ví dụ "reads a book") có trung tâm là động từ, cũng là một loại cụm. "Prepositional phrase" (cụm giới từ, ví dụ "on the table") có trung tâm là giới từ, cũng thuộc nhóm cụm. Riêng "Sentences" là đơn vị ở mức cao hơn, là nút gốc S của cây cú pháp, được tạo thành từ các cụm chứ không phải một loại cụm, nên nó là phần tử khác loại.

Đáp án đúng: "Coreference resolution". Giải quyết đồng tham chiếu (coreference resolution) gom mọi biểu thức tham chiếu, gồm tên riêng, cụm danh từ và đại từ, cùng trỏ về một thực thể ngoài đời thành một chuỗi; ví dụ trong đoạn Barack Obama was born in Hawaii, the former president said he loved it, ba cụm Barack Obama, the former president và he thuộc cùng một chuỗi đồng tham chiếu. "Named entity recognition" chỉ phát hiện và gán loại cho các cụm tên riêng như người, tổ chức, địa điểm, không nối đại từ hay cụm danh từ chung với thực thể mà chúng thay thế. "Information extraction" là lĩnh vực rộng rút dữ kiện có cấu trúc từ văn bản, có thể dùng đồng tham chiếu như một bước con nhưng không phải tên của đúng nhiệm vụ được mô tả. "All of the others" sai vì chỉ đồng tham chiếu mới khớp định nghĩa xác định các biểu thức cùng trỏ một thực thể.

Đáp án đúng: "Lemmatization". Lemmatization (chuẩn hoá về dạng từ điển) đưa một từ về lemma, tức dạng gốc có trong từ điển, dựa trên từ loại và hình thái: better thành good, studies thành study, was thành be. Chữ also ngụ ý đây là kỹ thuật thứ hai cùng làm việc đưa từ về gốc bên cạnh stemming, và cụm root form hợp với lemma vì nó luôn là một từ thật. Có ý kiến chọn "Steaming" vì đây là cách in sai của Stemming, kỹ thuật cũng đưa từ về gốc; nhưng stemming chỉ cắt hậu tố theo luật nên gốc thu được không bảo đảm là từ thật (studies thành studi), còn chữ Steaming đúng như in nghĩa là hấp hơi, nên Lemmatization vẫn là lựa chọn được chốt. "Rooting" không phải tên một kỹ thuật tiền xử lý trong NLP, chỉ mượn chữ root để gây nhiễu. "Dreaming" là một từ thông thường không liên quan gì tới xử lý hình thái từ.

Đáp án đúng: "spaCy". spaCy là thư viện Python chuyên cho xử lý ngôn ngữ tự nhiên, cung cấp sẵn pipeline gồm tokenization, gán nhãn từ loại, lemmatization, phân tích phụ thuộc, nhận diện thực thể có tên và vector từ, với mô hình huấn luyện sẵn cho nhiều ngôn ngữ; cùng với NLTK, nó là thư viện NLP hay gặp nhất. "NumPy" là thư viện tính toán số học với mảng nhiều chiều và đại số tuyến tính, là nền cho nhiều thư viện khác nhưng không có công cụ xử lý ngôn ngữ nào. "Pandas" là thư viện thao tác dữ liệu dạng bảng qua DataFrame, hữu ích để đọc và lọc tập dữ liệu văn bản nhưng không tách từ hay phân tích cú pháp. "Seaborn" là thư viện trực quan hoá dữ liệu thống kê xây trên Matplotlib, dùng để vẽ biểu đồ, không phải thư viện NLP.