Tất cả câu hỏi

Đáp án đúng: "Chunking". Chunking (phân đoạn nông, shallow parsing) là quá trình trích các cụm từ như cụm danh từ, cụm động từ từ văn bản phi cấu trúc và gán thêm cấu trúc cho nó; thường làm sau khi đã tách token và gán nhãn từ loại, rồi dùng luật hoặc biểu thức chính quy trên nhãn, ví dụ RegexpParser của NLTK với mẫu NP gồm DT? JJ* NN, để gom "the big dog" thành một cụm danh từ mà không dựng cả cây cú pháp đầy đủ. "Rooting" không phải thuật ngữ chuẩn của NLP. "Steaming" gần với stemming, việc cắt hậu tố để đưa từng từ về gốc, chỉ làm việc trên một từ chứ không trích cụm. "Lemmatization" đưa từ về dạng từ điển bằng từ điển và thông tin từ loại, cũng là chuẩn hoá từng từ riêng lẻ, không gom các từ thành cụm có cấu trúc.

Đáp án đúng: "N gram and Naive bayes". Bộ gán nhãn HMM chọn chuỗi nhãn t1…tn làm cực đại tích các P(wi | ti) × P(ti | ti−1): thừa số P(ti | ti−1) là xác suất chuyển trạng thái, chính là một mô hình bigram trên chuỗi nhãn, còn P(wi | ti) là xác suất phát ra (emission), tính đúng theo kiểu likelihood của Naive Bayes khi áp dụng định lý Bayes và giả định mỗi từ chỉ phụ thuộc nhãn của nó. Vì vậy công thức HMM là sự kết hợp giữa n-gram và Naive Bayes. "Logistic regression" là mô hình phân biệt (discriminative) ước lượng trực tiếp xác suất nhãn khi biết đặc trưng, gần với MEMM hay CRF chứ không phải HMM vốn là mô hình sinh. "SVM" tìm siêu phẳng có lề cực đại, không có xác suất chuyển hay xác suất phát ra nào. "Euclidean distance between words" là độ đo khoảng cách giữa vectơ, không xuất hiện trong công thức xác suất của HMM.

Đáp án đúng: "Symbolic, Statistical, Connectionist and Hybrid". Hướng tiếp cận (approach) là cách xây hệ thống NLP: hướng ký hiệu (symbolic) dùng luật và tri thức do chuyên gia viết; hướng thống kê (statistical) học xác suất từ kho ngữ liệu như n-gram, HMM; hướng kết nối (connectionist) dùng mạng nơ-ron học biểu diễn từ dữ liệu; hướng lai (hybrid) kết hợp các hướng trên. "Morphological and Lexical Analysis,Syntactic Analysis, Semantic Analysis,Discourse Integration, Pragmatic Analysis" là các mức hay giai đoạn phân tích ngôn ngữ, tức thành phần của bài toán, chứ không phải cách tiếp cận để giải nó; hướng tiếp cận nào cũng có thể áp ở từng mức. "Machine Learning, Deep Learning & AI" là các lĩnh vực: AI bao trùm NLP, còn học máy và học sâu tương ứng với hướng thống kê và kết nối, nhưng danh sách này bỏ qua hướng ký hiệu và hướng lai nên không phải phân loại chuẩn. "None of the others" sai vì đã có phân loại đúng.

Đáp án đúng: "Single discrete random variable". Hidden Markov Model là mô hình xác suất theo thời gian, trong đó trạng thái của quá trình tại mỗi thời điểm được mô tả bằng một biến ngẫu nhiên rời rạc duy nhất, nhận giá trị trong một tập hữu hạn trạng thái ẩn, ví dụ tập nhãn từ loại trong gán nhãn từ loại; nhờ vậy xác suất chuyển trạng thái biểu diễn được bằng một ma trận chuyển. "Single random variable" quá rộng vì không nói biến rời rạc, nếu trạng thái là biến liên tục thì mô hình trở thành bộ lọc Kalman hay hệ động lực tuyến tính chứ không phải HMM. "Literal" (hằng mệnh đề) là khái niệm của logic, như một biến mệnh đề hay phủ định của nó, không dùng để mô tả trạng thái của quá trình ngẫu nhiên. "None of the mentioned" sai vì đã có mô tả chính xác là một biến ngẫu nhiên rời rạc duy nhất.

Đáp án đúng: "Convolutional Neural Networks". Đa nghĩa (polysemy) là khi một từ như "bank" có nhiều nghĩa, và nghĩa đúng chỉ xác định được nhờ các từ xung quanh. Mạng tích chập trên văn bản trượt các bộ lọc qua cửa sổ vài từ liên tiếp, nên đặc trưng sinh ra cho một vị trí phụ thuộc vào cả từ đó lẫn láng giềng, ví dụ cụm "river bank" và "bank account" kích hoạt bộ lọc khác nhau; trong các lựa chọn, đây là mô hình duy nhất học được biểu diễn theo ngữ cảnh cục bộ. Cần nói rõ hướng giải quyết đa nghĩa triệt để nhất hiện nay là embedding ngữ cảnh như ELMo hay BERT, nhưng chúng không có trong danh sách. "Random Forest Classifier" làm việc trên vectơ đặc trưng cố định như túi từ, mỗi từ một cột duy nhất bất kể nghĩa nào. "Gradient Boosting" cũng là tổ hợp cây quyết định trên đặc trưng cố định, không mô hình hoá ngữ cảnh. "All of these" sai vì hai mô hình cây không phân biệt được các nghĩa của cùng một từ.

Đáp án đúng: "It performs extensive analysis of linguistic phenomena through explicit representation of facts about language and well-understood knowledge representation schemas and associated algorithms.". Cách tiếp cận ký hiệu (symbolic approach) là hướng dựa trên luật và tri thức: con người mã hoá tường minh các sự kiện về ngôn ngữ thành luật ngữ pháp, từ điển, lược đồ biểu diễn tri thức, rồi dùng thuật toán suy diễn hay phân tích trên đó, như các hệ phân tích cú pháp theo văn phạm phi ngữ cảnh viết tay. Phương án mở đầu "This component transfers linear sequences of words into structures" mô tả phân tích cú pháp kèm nghĩa đen, tức một thành phần xử lý trong hệ NLP chứ không phải một cách tiếp cận. Phương án nói "harnesses various mathematical techniques and often uses large text corpora" mô tả cách tiếp cận thống kê, học mô hình xấp xỉ từ dữ liệu thật thay vì luật viết tay. Phương án nói "based on the interconnection of networks having simple processing units" mô tả cách tiếp cận kết nối (connectionist), tức mạng nơ-ron lưu tri thức trong trọng số, ngược với biểu diễn tường minh của hướng ký hiệu.

Đáp án đúng: "Neural network". Mô tả gồm các nơ-ron mô phỏng nối với nhau, có lớp đầu vào với mỗi đặc trưng một đầu vào, một hay nhiều lớp ẩn và lớp đầu ra với mỗi biến mục tiêu một đầu ra, chính là định nghĩa chung của mạng nơ-ron nhân tạo (artificial neural network) trong học máy, kiến thức nền dùng cho NLP. "Feedforeword network" (mạng truyền thẳng) là một loại mạng nơ-ron trong đó tín hiệu chỉ đi một chiều từ đầu vào ra đầu ra; cấu trúc được tả không mâu thuẫn với nó, nhưng mô tả không nêu đặc điểm phân biệt là không có chu trình, nên khái niệm khớp nhất là mạng nơ-ron nói chung. "Recurrent network" có kết nối hồi quy đưa trạng thái ẩn của bước trước vào bước sau để xử lý chuỗi, điều mô tả không hề nhắc tới. "What needs to be chosen?" không phải tên mô hình mà là câu hỏi về việc chọn kiến trúc, số lớp, số nơ-ron, nên không trả lời định nghĩa.

Đáp án đúng gồm hai ý: "Symmetric many-to-many RNN" và "Asymmetric many-to-many RNN". NER (nhận diện thực thể có tên) nhận vào một chuỗi từ và trả ra nhãn thực thể, nên cần kiến trúc nhiều vào nhiều ra. Nếu dự đoán một nhãn cho mỗi token, độ dài đầu ra bằng độ dài đầu vào, như John lives in Paris thành B-PER O O B-LOC, thì dùng many-to-many đối xứng, ở mỗi bước thời gian RNN đọc một từ và xuất ngay một nhãn. Nếu sinh lại câu đã gắn nhãn, đầu ra có thể dài khác đầu vào vì chèn thêm thẻ, thì dùng many-to-many bất đối xứng dạng encoder-decoder (seq2seq): encoder đọc hết câu rồi decoder sinh chuỗi kết quả. "One-to-one RNN" nhận một đầu vào và cho một đầu ra, thực chất là mạng truyền thẳng thường, không xử lý được chuỗi từ. "Many-to-one RNN" đọc cả chuỗi nhưng chỉ xuất một nhãn cho toàn câu, hợp với phân loại cảm xúc, không gán nhãn được cho từng thực thể.

Đáp án đúng: "Topic Modeling". Học không giám sát (unsupervised learning) tìm cấu trúc trong dữ liệu không có nhãn. Topic modeling, ví dụ LDA hay NMF, chỉ nhận một tập văn bản thô và tự khám phá các chủ đề ẩn dưới dạng phân phối trên từ vựng, không cần ai gán sẵn chủ đề cho tài liệu. "POS Tagging" (gán nhãn từ loại) thường được huấn luyện có giám sát trên ngữ liệu đã gán nhãn như Penn Treebank, dù có những biến thể không giám sát ít phổ biến. "NER" (nhận dạng thực thể có tên) cần dữ liệu huấn luyện có đánh dấu sẵn tên người, tổ chức, địa điểm, nên là bài toán gán nhãn chuỗi có giám sát. "Text Classification" (phân loại văn bản) học từ các tài liệu đã có nhãn lớp như thư rác hay không, tích cực hay tiêu cực, nên là học có giám sát điển hình.

Đáp án đúng: "Linearly Separable". Hai dòng mô tả đúng khái niệm khả tách tuyến tính (linearly separable): mạng một tầng như perceptron chỉ vẽ được một siêu phẳng quyết định w·x + b = 0, nên nó chỉ học được khi dữ liệu các lớp có thể chia bằng một đường thẳng hay siêu phẳng; ví dụ hàm XOR không khả tách tuyến tính nên perceptron một tầng thất bại, phải thêm tầng ẩn với hàm kích hoạt phi tuyến. "Neural Networks" là chủ đề chung quá rộng, các dòng mô tả không định nghĩa mạng nơ-ron mà nói về điều kiện dữ liệu của mạng một tầng. "Distance measure of similarity" là các độ đo khoảng cách như Euclid hay cosine dùng so độ giống nhau, không liên quan tới số tầng của mạng. "Eigenvalue Formula" là công thức trị riêng của đại số tuyến tính, dùng trong PCA, không phải khái niệm được mô tả.

Đáp án đúng: "TRUE". Speech recognition (nhận dạng tiếng nói) biến tín hiệu âm thanh liên tục thành văn bản. Trong lời nói tự nhiên không có khoảng lặng rõ ràng giữa các từ, nên hệ thống phải xác định ranh giới của các đơn vị như âm vị, âm tiết, từ trong dòng âm thanh; đó là speech segmentation (phân đoạn tiếng nói). Vì nhận dạng đúng từ đòi hỏi tách đúng ranh giới và ngược lại, phân đoạn được xem là một bài toán con của nhận dạng tiếng nói, tương tự word segmentation là bài toán con khi xử lý văn bản tiếng Trung hay tiếng Việt. "FALSE" sai vì phân đoạn không phải một ứng dụng độc lập đứng ngoài nhận dạng; trong hệ hiện đại nó có thể được làm ngầm bên trong mô hình, nhưng vẫn là việc mà hệ nhận dạng buộc phải giải.

Đáp án đúng: "It focuses about the proper ordering of words which can affect its meaning. This involves analysis of the words in a sentence by following the grammatical structure of the sentence. The words are transformed into the structure to show how the words are related to each other.". Syntax analysis (phân tích cú pháp, parsing) kiểm tra thứ tự từ theo ngữ pháp, vì đổi thứ tự có thể đổi nghĩa hoặc làm câu sai, rồi dựng cấu trúc như cây cú pháp cho thấy quan hệ giữa các từ. Cần nói thẳng chỗ tranh cãi: mô tả "transfers linear sequences of words into structures. It shows how the words are associated" cũng là một định nghĩa đúng một phần của phân tích cú pháp, vì nó nói việc chuyển chuỗi từ tuyến tính thành cấu trúc; nhưng mô tả được chọn đầy đủ hơn khi nêu cả thứ tự đúng của từ, ảnh hưởng tới nghĩa và việc theo cấu trúc ngữ pháp, nên vẫn là câu trả lời tốt nhất. "This only abstracts the dictionary meaning or the real meaning from the given context." là định nghĩa phân tích ngữ nghĩa. Mô tả "overall communicative and social content and its effect on interpretation" là phân tích ngữ dụng, xét ngữ cảnh giao tiếp.

Đáp án đúng: "19/52". Bộ bài 52 lá có 4 lá Q (queen), 4 lá K (king) và 13 lá cơ (heart). Dùng quy tắc cộng cho biến cố hợp có phần giao: số lá thoả mãn = 4 + 4 + 13 trừ phần đếm trùng. Lá Q cơ và lá K cơ vừa là Q hoặc K vừa là cơ nên đã bị đếm hai lần, phải trừ đi 2; Q và K không giao nhau. Kết quả 4 + 4 + 13 − 2 = 19 lá, nên xác suất là 19/52. "4/13" bằng 16/52, tức chỉ 16 lá, ít hơn 3 lá so với số lá thật sự thoả điều kiện, ứng với cách đếm bỏ sót. "1/36" là mẫu số đặc trưng của phép tung hai con xúc xắc (36 kết quả), không liên quan bộ bài, và nếu quy về 52 lá thì 52/36 không phải số nguyên lá. "5/12" quy về 52 lá được 260/12 ≈ 21,67 lá, không phải số nguyên nên không thể là xác suất rút một lá trong bộ bài 52 lá.

Đáp án đúng: "RNN". Cơ chế attention được đưa vào NLP năm 2014 qua công trình Neural Machine Translation by Jointly Learning to Align and Translate của Bahdanau, Cho và Bengio: họ gắn attention vào mô hình dịch máy encoder–decoder dùng RNN, cho decoder ở mỗi bước nhìn lại mọi trạng thái ẩn của encoder thay vì chỉ một vectơ ngữ cảnh cố định. Nhiều người gắn attention với "Transformer", vì Transformer ra đời năm 2017 đã phổ biến self-attention và bỏ hẳn tầng hồi quy, nhưng đó là kiến trúc đến sau, xây hoàn toàn trên một cơ chế đã có từ trước; kiến trúc đầu tiên đưa ra attention là RNN encoder–decoder. "CNN" là mạng tích chập, nổi lên từ thị giác máy tính, không phải nơi attention được giới thiệu. "GRU" là chỗ dễ cãi nhất: mô hình của Bahdanau thật ra dùng chính loại tế bào hồi quy có cổng kiểu GRU, nhưng câu hỏi hỏi về kiến trúc, và GRU chỉ là một loại tế bào bên trong mạng hồi quy, còn kiến trúc chứa attention là bộ mã hoá–giải mã RNN, nên câu trả lời là họ kiến trúc RNN.

Đáp án đúng: "Semantic Analysis". Quá trình phân tích ngôn ngữ thường được mô tả qua năm giai đoạn nối tiếp: thứ nhất là phân tích hình thái và từ vựng, tách và nhận diện từ; thứ hai là phân tích cú pháp, dựng cấu trúc câu; thứ ba là phân tích ngữ nghĩa, gán nghĩa cho câu dựa trên nghĩa từ và cấu trúc đã có; thứ tư là tích hợp diễn ngôn; thứ năm là phân tích ngữ dụng. "Syntactic Analysis" là giai đoạn thứ hai, đứng ngay trước ngữ nghĩa vì phải biết cấu trúc mới ghép được nghĩa. "Discourse Analysis" là giai đoạn thứ tư, liên kết nghĩa của câu đang xét với các câu trước như giải quyết đồng tham chiếu, nên cần có nghĩa của từng câu trước. "Pragmatic Analysis" là giai đoạn cuối, diễn giải ý định thực sự của người nói trong hoàn cảnh, dựa trên tất cả các mức bên dưới.

Đáp án đúng: "Introduces entities that are new to the hearer into the discourse context". Trong hiện tượng quy chiếu (reference phenomena) của phân tích diễn ngôn, cụm danh từ bất định (indefinite noun phrase) như a dog, some students dùng để đưa vào diễn ngôn một thực thể mà người nghe chưa biết; sau đó thực thể này được nhắc lại bằng cụm xác định hoặc đại từ, như I saw a dog. The dog was barking. It ran away. "Introduces entities that are previous or old to the hearer into the discourse context" mô tả vai trò của cụm danh từ xác định (definite noun phrase) như the dog, vốn chỉ thực thể người nghe đã biết hoặc nhận diện được, ngược với cụm bất định. "Entities that accept the irregular pharses" không phải khái niệm trong lý thuyết quy chiếu, chuyện cụm từ có quy tắc hay không không liên quan tới việc thực thể mới hay cũ. "Entities that accept the regular pharses" cũng vậy, không mô tả chức năng giới thiệu thực thể của cụm danh từ bất định.

Đáp án đúng: "Because it strongly penalizes wrong high-probability predictions, gives useful gradients for learning, and avoids tiny numbers when handling sequence prediction.". Hàm mất mát cross-entropy cho một mẫu là −log(p), với p là xác suất mô hình gán cho lớp đúng. Khi p tiến về 0, tức mô hình tự tin đặt xác suất cao vào lớp sai, −log(p) tăng vọt về vô cực, trong khi 1 − p chỉ tối đa bằng 1, nên lỗi tự tin bị phạt nặng hơn nhiều. Kết hợp với softmax, gradient theo logit có dạng gọn p − y, không bị bão hoà khi mô hình sai nặng, nên học nhanh hơn. Với chuỗi, xác suất cả câu là tích nhiều số nhỏ dễ tràn dưới (underflow), còn log biến tích thành tổng các log ổn định về số học. Phát biểu "always equal to zero when the prediction is wrong" sai vì ngược lại: dự đoán sai cho loss lớn, loss chỉ về 0 khi p = 1. Phát biểu "guarantees that the predicted probabilities always sum to one" sai vì việc chuẩn hoá tổng bằng một là do lớp softmax, phép log không làm điều đó. Phát biểu "independent of the probability assigned to the true class" sai vì cross-entropy phụ thuộc trực tiếp và chỉ phụ thuộc vào chính xác suất của lớp đúng.

Đáp án đúng: "Ensure the anchor is closer to the positive than to the negative by a margin". Mạng Siamese dùng chung một bộ mã hoá để biến mỗi đầu vào thành vectơ nhúng, và triplet loss huấn luyện trên bộ ba: anchor (mẫu gốc), positive (mẫu cùng loại) và negative (mẫu khác loại); hàm mất mát bằng max(0, d(anchor, positive) − d(anchor, negative) + α), chỉ bằng 0 khi khoảng cách từ anchor tới positive nhỏ hơn khoảng cách tới negative ít nhất một lề α. Nhờ đó không gian nhúng xếp các mẫu giống nhau lại gần nhau, dùng được cho nhận diện khuôn mặt hay tìm câu hỏi trùng nghĩa. "Classify images into discrete categories" là mục tiêu của hàm cross-entropy trên tầng softmax; triplet loss học độ tương đồng nên xử lý được cả lớp chưa thấy khi huấn luyện. "Reduce model overfitting through dropout" là việc của dropout, một kỹ thuật điều chuẩn độc lập với hàm mất mát. "Increase the dimensionality of embeddings" sai vì số chiều nhúng do kiến trúc quy định trước, triplet loss chỉ sắp xếp lại vị trí các vectơ trong không gian đó.

Đáp án đúng gồm hai ý: "It helps in reducing the randomness in the word" và "It reduces the dimensionality of the input". Chuẩn hoá từ (text normalization) gồm chuyển chữ thường, stemming, lemmatization, sửa chính tả, đưa nhiều biến thể bề mặt về một dạng chung: Running, runs, ran đều quy về run. Lợi ích thứ nhất là giảm tính ngẫu nhiên, tức giảm sự đa dạng tùy tiện về hình thức của cùng một từ, giúp mô hình nhận ra chúng là một. Lợi ích thứ hai là giảm số chiều đầu vào: từ vựng nhỏ lại nên vector bag-of-words hay TF-IDF ngắn hơn và bớt thưa. "It increases the false negatives" không phải lợi ích; ngược lại, chuẩn hoá thường giúp tìm kiếm khớp được nhiều biến thể hơn, tức giảm false negative, và nếu có làm tăng lỗi thì đó là tác dụng phụ chứ không phải ưu điểm. "All of the others" sai vì nó kéo theo cả ý về false negative vốn không phải lợi ích.

Đáp án đúng: "Vegetables". Hyponym (từ hạ danh) là từ có nghĩa hẹp hơn, chỉ một loại cụ thể của khái niệm rộng hơn gọi là hypernym (từ thượng danh); X là hyponym của Y khi câu X là một loại Y đúng. Tubers (rau củ dạng thân củ) là một loại vegetables nên tubers là hyponym của vegetables. Cần nói thẳng chỗ dễ nhầm là chiều của quan hệ: "Potatoes" là chọn lựa dễ bị đảo chiều, vì khoai tây là một loại củ, tức potatoes mới là hyponym của tubers, còn tubers là hypernym của potatoes chứ không ngược lại. "Carrots" là cà rốt, một loại rau ăn rễ chứ không phải loại củ dạng thân, và nó là khái niệm cụ thể hơn chứ không bao trùm tubers. "Roots" (rau ăn rễ) và tubers là hai nhóm ngang hàng cùng nằm dưới vegetables, tức là co-hyponym (đồng hạ danh) của nhau chứ không bao hàm nhau.