Tất cả câu hỏi

Đáp án đúng: "Step size is too large". Khi huấn luyện bằng gradient descent, bước học (step size, learning rate) quá lớn làm mỗi lần cập nhật nhảy vượt qua điểm cực tiểu sang sườn bên kia, có khi cao hơn chỗ cũ; lặp lại nhiều lần thì tham số dao động ngày càng xa và loss trên chính tập huấn luyện tăng dần theo số epoch, thậm chí phân kỳ. "Regularization is too low and model is overfitting" sai vì quá khớp biểu hiện là loss huấn luyện vẫn giảm đều trong khi loss kiểm định tăng, không phải loss huấn luyện tăng. "Regularization is too high and model is underfitting" khiến loss huấn luyện dừng ở mức cao, giảm chậm rồi đi ngang, nhưng không tăng lên theo epoch. "Step size is too small" làm loss giảm rất chậm, cần nhiều epoch mới hội tụ, nhưng mỗi bước vẫn đi xuống dốc nên loss không tăng.

Đáp án đúng: "positive and negative words dictionaries". Phân tích cảm xúc dựa trên từ điển (lexicon-based) gán cực tính cho từng thuật ngữ bằng cách tra nó trong danh sách từ tích cực và từ tiêu cực đã xây sẵn, như good, excellent mang dấu dương còn bad, terrible mang dấu âm; cộng điểm các từ cho ra cảm xúc của cả câu, và các bộ từ điển như VADER còn gán cường độ cho từng từ. "topic modeling" tìm các nhóm từ hay đi cùng nhau để rút chủ đề của tập tài liệu, không nói từ nào tích cực hay tiêu cực. "stemming" chỉ cắt hậu tố đưa từ về gốc, là bước tiền xử lý giúp tra từ điển dễ hơn chứ không tự gán cực tính. "term by document matrix" là ma trận đếm thuật ngữ theo tài liệu, một cách biểu diễn dữ liệu chưa mang thông tin cảm xúc nào.

Đáp án đúng: "True". Word embedding biểu diễn mỗi từ bằng một vector số thực nhiều chiều, thường vài chục tới vài trăm chiều với Word2Vec hay GloVe. Mỗi chiều không được gán nghĩa cụ thể bằng tay, nhưng tổng thể các chiều mã hoá nhiều khía cạnh của từ cùng lúc: nghĩa, giống, số ít số nhiều, thì, quan hệ chủ đề. Phép toán vector king trừ man cộng woman cho kết quả gần queen cho thấy có một hướng trong không gian nắm thông tin giới tính, trong khi hướng khác nắm quan hệ thủ đô và quốc gia. Vì vậy nói embedding nắm nhiều chiều thông tin và được biểu diễn dưới dạng vector là đúng. "False" sai vì embedding chính là vector theo định nghĩa, và nó khác one-hot ở chỗ thông tin ngữ nghĩa được phân bố trên nhiều chiều thay vì chỉ đánh dấu một vị trí.

Đáp án đúng: "Image". Summarization (tóm tắt) là chọn ra phần đại diện nhất của một tập dữ liệu; image summarization (tóm tắt ảnh) áp dụng ý này cho một bộ sưu tập ảnh, chẳng hạn chọn vài tấm tiêu biểu nhất từ album hàng trăm ảnh của một chuyến đi hoặc từ kết quả tìm kiếm ảnh, bằng cách gom các ảnh giống nhau và lấy ảnh trung tâm mỗi nhóm, tránh trùng lặp mà vẫn phủ đủ nội dung. Vì đối tượng được chọn là ảnh nên tập nguồn phải là bộ sưu tập ảnh. "Text" ứng với text summarization (tóm tắt văn bản), chọn hoặc sinh câu tiêu biểu từ tài liệu, không phải chọn ảnh. "Sound" là dữ liệu âm thanh, tóm tắt trên đó là chọn đoạn âm tiêu biểu chứ không phải ảnh. "Word" là đơn vị từ, một tập từ không chứa ảnh để chọn ra ảnh đại diện.

Đáp án đúng gồm bốn ý: "Accuracy", "Precision", "Recall" và "F1-Score". Phân loại văn bản (text classification) gán nhãn lớp cho tài liệu, nên được đánh giá bằng ma trận nhầm lẫn với các ô TP, FP, FN, TN. "Accuracy" là tỉ lệ dự đoán đúng trên tổng số mẫu, (TP + TN) / tổng. "Precision" là TP / (TP + FP), đo trong số tài liệu được gán vào lớp thì bao nhiêu thật sự thuộc lớp đó. "Recall" là TP / (TP + FN), đo mô hình tìm lại được bao nhiêu tài liệu thật của lớp. "F1-Score" là trung bình điều hoà 2PR / (P + R), cân bằng hai đại lượng trên, đặc biệt hữu ích khi các lớp mất cân bằng. "BLEU Score" là độ đo cho dịch máy, so độ trùng n-gram giữa câu dịch máy và bản dịch tham chiếu kèm hình phạt độ ngắn, không áp dụng cho nhãn lớp. "ROUGE" là độ đo cho tóm tắt văn bản, đo độ phủ n-gram của bản tóm tắt so với bản tham chiếu, cũng dành cho đầu ra dạng văn bản sinh ra chứ không cho bài toán phân loại.

Đáp án đúng gồm bốn ý: "RNN", "Transformer", "HMM" và "LSTM". Mô hình chuỗi (sequence model) xử lý dữ liệu có thứ tự và khai thác quan hệ giữa các phần tử theo vị trí. RNN đọc từng token và mang trạng thái ẩn sang bước sau; LSTM là RNN có ô nhớ và các cổng nên giữ được phụ thuộc xa; Transformer xử lý cả chuỗi bằng self-attention cộng mã hoá vị trí (positional encoding) để biết thứ tự; HMM mô hình hoá chuỗi trạng thái ẩn bằng xác suất chuyển trạng thái và xác suất phát ra, dùng cho gán nhãn từ loại và nhận dạng tiếng nói. "Decision Tree" không phải mô hình chuỗi vì nó phân lớp một vectơ đặc trưng cố định bằng các phép tách theo thuộc tính, không biết thứ tự giữa các phần tử. "Naive Bayes" coi văn bản là túi từ với giả định các từ độc lập, bỏ qua hoàn toàn thứ tự nên cũng không phải mô hình chuỗi.

Đáp án đúng: "What is feature extraction?". Câu này viết theo kiểu thẻ ghi nhớ: vế mô tả là tập phương pháp biến dữ liệu thô thành đặc trưng số cho học máy, và câu trả lời là khái niệm feature extraction (trích xuất đặc trưng). Trong NLP, trích xuất đặc trưng gồm nhiều kỹ thuật như one-hot, bag-of-words, TF-IDF, n-gram hay embedding, đều nhằm biến văn bản thành vector để mô hình tính toán. "What is 1-hot encoding?" chỉ là một kỹ thuật cụ thể trong tập đó, biểu diễn mỗi giá trị bằng vector có đúng một vị trí bằng 1, không phải cả tập phương pháp. "What is a Bag of Word?" cũng là một phương pháp riêng lẻ, đếm số lần xuất hiện của từ và bỏ qua thứ tự. "What is feature detection in images?" thuộc thị giác máy tính, chỉ việc phát hiện điểm đặc trưng như góc, cạnh trong ảnh, không phải định nghĩa tổng quát áp cho mọi loại dữ liệu thô.

Đáp án đúng: "Smoothing adjusts probabilities to prevent zero values, improving model generalization". Ma trận chuyển trạng thái của HMM hay mô hình n-gram ước lượng bằng đếm, nên cặp nhãn chưa từng gặp trong ngữ liệu huấn luyện nhận xác suất 0 và làm cả chuỗi có xác suất 0. Smoothing (làm trơn) lấy bớt một phần xác suất của sự kiện đã thấy chia cho sự kiện chưa thấy; ví dụ Laplace cộng một: P(t_i|t_i-1) = (C(t_i-1, t_i) + 1) / (C(t_i-1) + V), với V là số trạng thái, nên không ô nào bằng 0 và mô hình khái quát tốt hơn trên dữ liệu mới. "Smoothing increases the size of the transition matrix by adding more rows and columns" sai vì kích thước ma trận do số trạng thái quyết định, làm trơn chỉ đổi giá trị các ô. "Smoothing removes any negative probabilities from the transition matrix." sai vì xác suất ước lượng từ đếm không bao giờ âm. "Smoothing converts all transition probabilities to equal values" sai vì làm mọi ô bằng nhau sẽ xoá sạch thông tin học được; làm trơn chỉ dời một ít xác suất.

Đáp án đúng: "The target word given surrounding context words". CBOW (Continuous Bag-of-Words) là một trong hai kiến trúc của Word2Vec: nó lấy các từ ngữ cảnh trong một cửa sổ quanh vị trí cần đoán, cộng hoặc lấy trung bình vectơ của chúng (bỏ qua thứ tự, nên gọi là túi từ), rồi dự đoán từ đích ở giữa; trọng số học được chính là vectơ nhúng từ. "The context words given a target word" là cách làm ngược lại của Skip-gram, kiến trúc còn lại của Word2Vec, đoán các từ xung quanh từ một từ trung tâm. "The most frequent word in a corpus" chỉ là phép đếm tần suất, không cần mạng nơ-ron và không học được biểu diễn nghĩa. "Word embeddings for all possible n-grams" gần với ý tưởng của FastText, vốn biểu diễn từ bằng các n-gram ký tự, còn CBOW không sinh vectơ cho mọi n-gram có thể.

Đáp án đúng: "Add-one smoothing". Mô hình n-gram ước lượng xác suất bằng số đếm, nên n-gram chưa xuất hiện trong kho huấn luyện nhận xác suất 0 và kéo cả câu về xác suất 0; làm trơn cộng một (Laplace smoothing) cộng thêm 1 vào mọi số đếm, với bigram là P(wi | wi−1) = (C(wi−1 wi) + 1) / (C(wi−1) + V) trong đó V là kích thước từ vựng, để mọi n-gram đều có xác suất dương. "Gradient descent smoothing" không phải kỹ thuật làm trơn nào; gradient descent là phương pháp tối ưu tham số bằng cách đi ngược hướng đạo hàm. "Kernel smoothing" là phương pháp ước lượng mật độ hay hồi quy cho dữ liệu liên tục bằng hàm nhân, không dùng cho số đếm n-gram. "Fourier smoothing" lọc tín hiệu trong miền tần số, thuộc xử lý tín hiệu chứ không thuộc mô hình ngôn ngữ.

Đáp án đúng: "J = −(1/m) ∑(i=1..m) ∑(j=1..c) y_j^(i) log(ŷ_j^(i)) where m, c, y_j^(i), ŷ_j^(i) denote number of examples, number of classes, ground-truth label, and predicted probability, respectively.". Hàm mất mát log (log loss, cross-entropy) của một mẫu là tổng y_j log ŷ_j lấy dấu âm, thực chất chỉ phạt xác suất dự đoán cho lớp đúng; hàm chi phí (cost function) J của cả tập huấn luyện là trung bình của nó trên m mẫu, nên có hệ số 1/m và tổng theo i. Đây là dạng tổng quát cho c lớp (softmax regression); với hai lớp nó thu về −[y log ŷ + (1−y) log(1−ŷ)]. Dấu trừ cần thiết vì log của xác suất nhỏ hơn 1 là số âm, nhờ đó J không âm và giảm khi mô hình dự đoán đúng hơn. "L = −∑(j=1..c) y_j log(ŷ_j)" là loss của riêng một mẫu, đúng về dạng nhưng chưa phải hàm chi phí trên toàn tập. "ŷ = σ(wᵀx + b), where σ(z) = 1/(1 + e^(−z))" là công thức dự đoán của hồi quy logistic qua hàm sigmoid, không phải hàm chi phí. "L = ∑(j=1..c) y_j log(ŷ_j)" thiếu dấu trừ nên cho giá trị âm và tăng dần khi dự đoán tốt hơn; cực tiểu hoá nó sẽ đẩy mô hình về phía dự đoán sai.

Đáp án đúng: "Connectionist Approach". Connectionism (thuyết kết nối) là trường phái mô hình hoá trí tuệ bằng mạng gồm nhiều đơn vị đơn giản nối với nhau, tri thức nằm phân tán trong trọng số các kết nối và được học từ dữ liệu, chính là mạng nơ-ron; trong NLP, cách tiếp cận dùng mạng nơ-ron vì thế được gọi là connectionist approach. "Statistical" chỉ cách tiếp cận thống kê như n-gram, HMM, Naive Bayes ước lượng xác suất từ ngữ liệu; mạng nơ-ron cũng học từ dữ liệu nhưng tên gọi riêng của nó là connectionist chứ không phải statistical. "Symbolical" là cách tiếp cận biểu tượng, dùng luật, logic và biểu diễn tri thức viết tay, đối lập với connectionism. "All of above" sai vì mạng nơ-ron không được gọi là cách tiếp cận biểu tượng, nên không thể gộp cả ba.

Đáp án đúng: "Probability of the best tag sequence given a word sequence". Trong gán nhãn từ loại bằng HMM, thuật toán Viterbi dùng quy hoạch động để tìm chuỗi nhãn T có xác suất cao nhất cho chuỗi từ W đã cho, tức argmax P(T | W); nó trả về chuỗi nhãn tốt nhất đó cùng xác suất của nó (về kỹ thuật là xác suất đồng thời P(T, W), tỉ lệ thuận với P(T | W) vì P(W) cố định). "Probability of word sequence given a particular tag sequence" là P(W | T), tích các xác suất phát xạ, chỉ là một thành phần trong công thức, không phải đầu ra; còn nếu cần xác suất của chuỗi từ thì đó là việc của thuật toán forward. "Optimal transition and observation probabilities for HMM" là kết quả của bước huấn luyện tham số, bằng đếm tần suất trên ngữ liệu có nhãn hoặc thuật toán Baum-Welch, không phải của giải mã Viterbi. "None of the others" sai vì đã có một mô tả đúng đầu ra.

Đáp án đúng: "Naive Bayes and SVM". Phân loại cảm xúc tweet là bài toán phân lớp văn bản có giám sát: mỗi tweet được biểu diễn bằng túi từ hoặc TF-IDF, rồi một bộ phân lớp học cách gán nhãn tích cực hay tiêu cực. Naive Bayes tính xác suất nhãn khi biết các từ theo định lý Bayes với giả định các từ độc lập, huấn luyện nhanh và chạy tốt trên văn bản ngắn nhiều chiều; SVM tìm siêu phẳng có lề lớn nhất giữa hai lớp và xử lý tốt vectơ thưa nhiều chiều như TF-IDF. Cả hai đều là lựa chọn kinh điển cho bài toán này nên phương án gộp cả hai mới đầy đủ. "Naive Bayes" đúng nhưng chưa đủ vì bỏ sót SVM. "SVM" cũng đúng nhưng thiếu Naive Bayes. "None of the above" sai vì cả hai mô hình đều phù hợp với bài toán.

Đáp án đúng: "Stop-word removal". Trong pipeline tiền xử lý văn bản, tokenization (tách token) chia văn bản thành từ; ngay sau đó các bước làm sạch ở mức token được áp dụng, điển hình là loại bỏ stop word (từ dừng) như the, is, of vốn xuất hiện dày đặc nhưng ít mang nội dung, rồi mới tới stemming hay lemmatization. Bước này cần có token trước mới làm được và giảm nhiễu cho các bước sau. "Parsing" là phân tích cú pháp, cần câu đầy đủ nên thậm chí phải giữ stop word, và thường đến sau gán nhãn từ loại. "Translation" là ứng dụng đầu cuối, không phải một bước tiền xử lý. "POS tagging" cũng diễn ra sau tách token và trong pipeline phân tích cú pháp nó có thể đi liền sau tokenization; nhưng trong chuỗi tiền xử lý điển hình cho phân loại hay truy xuất văn bản, bước thường gặp ngay sau là loại stop word.

Đáp án đúng: "Alpha: density of topics generated within documents, beta: density of terms generated within topics". LDA (Latent Dirichlet Allocation) mô hình mỗi văn bản là hỗn hợp chủ đề và mỗi chủ đề là phân phối trên từ; alpha là tham số của phân phối Dirichlet tiên nghiệm cho tỉ lệ chủ đề trong văn bản, alpha lớn thì mỗi văn bản chứa nhiều chủ đề trộn đều, alpha nhỏ thì mỗi văn bản tập trung vào ít chủ đề; beta là tham số Dirichlet cho phân phối từ trong chủ đề, beta lớn thì mỗi chủ đề trải ra nhiều từ. Vì vậy chúng đo mật độ chứ không phải số lượng. Chuỗi "Alpha: number of topics within documents, beta: number of terms within topics" được in hai lần và sai vì alpha, beta là tham số nồng độ, còn số chủ đề K là một siêu tham số riêng phải chọn trước, số từ thì do từ vựng quyết định. "Alpha: density of terms generated within topics, beta: density of topics generated within terms" đảo vai hai tham số, và cụm topics generated within terms không có nghĩa trong LDA vì từ không sinh ra chủ đề.

Đáp án đúng: "All of the others". Cả ba tác vụ được liệt kê đều là bài toán lớn kinh điển của xử lý ngôn ngữ tự nhiên. "Automatic Summarization" (tóm tắt tự động) tạo bản rút gọn giữ ý chính của văn bản, theo hướng trích xuất câu quan trọng hoặc sinh câu mới. "Discourse Analysis" (phân tích diễn ngôn) xét quan hệ giữa các câu trong văn bản, như giải quyết đồng tham chiếu để biết đại từ trỏ tới ai và nhận diện quan hệ nguyên nhân, tương phản giữa các đoạn. "Machine Translation" (dịch máy) chuyển văn bản từ ngôn ngữ nguồn sang ngôn ngữ đích, từ hệ dựa trên luật, thống kê tới mạng nơ-ron Transformer. Vì mỗi tác vụ đều là nhiệm vụ chính của NLP, chọn riêng một trong ba chỉ đúng một phần và bỏ sót hai tác vụ còn lại, nên chỉ phương án gộp mới đủ.

Đáp án đúng: "Both a & c". NLP gặp nhập nhằng ở mọi tầng phân tích: lexical (một từ nhiều nghĩa như bank), syntactical (một câu nhiều cây cú pháp như I saw the man with the telescope), semantical (nghĩa câu có nhiều cách hiểu), discourse (đại từ trỏ về đâu qua nhiều câu) và pragmatic (ý định người nói, như Can you pass the salt là lời nhờ chứ không phải câu hỏi về khả năng). Phương án gộp này tương đương lấy cả "Lexical and syntactical" lẫn "Semantical, discourse and Pragmatic", nên bao trọn các loại nhập nhằng mà NLP phải giải. Riêng "Lexical and syntactical" chỉ nêu hai tầng thấp, bỏ sót nhập nhằng ngữ nghĩa, diễn ngôn và ngữ dụng. Riêng "Semantical, discourse and Pragmatic" chỉ nêu các tầng cao, bỏ sót tầng từ vựng và cú pháp. "NLP does not face any ambiguity" sai hoàn toàn, vì nhập nhằng chính là khó khăn trung tâm của NLP.

Đáp án đúng: "True". Word2Vec (Mikolov và cộng sự, 2013) là tên chung cho một họ mô hình học embedding gồm hai kiến trúc. CBOW (continuous bag of words) dự đoán từ trung tâm từ trung bình vector của các từ ngữ cảnh xung quanh, huấn luyện nhanh và tốt với từ phổ biến. Skip-gram làm ngược lại, dùng từ trung tâm để dự đoán từng từ ngữ cảnh, chậm hơn nhưng biểu diễn từ hiếm tốt hơn. Cả hai đi kèm các kỹ thuật tăng tốc như negative sampling hay hierarchical softmax. Vì vậy nói Word2Vec không phải một thuật toán duy nhất mà là tổ hợp hai kỹ thuật là đúng. "False" sai vì khi dùng Word2Vec người ta phải chọn một trong hai kiến trúc, chẳng hạn tham số sg trong thư viện gensim quyết định dùng CBOW hay Skip-gram.

Đáp án đúng: "Attention mechanism". Transformer là kiến trúc encoder-decoder dựa hoàn toàn vào cơ chế attention, đặc biệt là self-attention nhiều đầu (multi-head): mỗi token tính trọng số chú ý tới mọi token khác bằng query, key, value, nhờ đó nắm phụ thuộc xa và xử lý song song cả chuỗi, không cần hồi quy như RNN; vị trí từ được bổ sung bằng positional encoding. BERT và GPT đều xây trên kiến trúc này. "Convolution layers" là thành phần cốt lõi của CNN, trượt bộ lọc cục bộ trên dữ liệu, không phải nền tảng của Transformer. "Frequency filters" là khái niệm xử lý tín hiệu, lọc thành phần tần số của âm thanh hay ảnh, không thuộc kiến trúc Transformer. "Reinforcement learning" là một cách học bằng phần thưởng, có thể dùng để tinh chỉnh mô hình ngôn ngữ sau huấn luyện, nhưng không phải thành phần kiến trúc mà Transformer dùng.