Câu hỏi: NLP301c - Phần 1: Ứng dụng và các cách tiếp cận xử lý ngôn ngữ tự nhiên

Đáp án đúng: "All of the others". Xử lý ngôn ngữ tự nhiên (Natural Language Processing) là lĩnh vực giúp máy đọc, hiểu và sinh ngôn ngữ người, nên nó phục vụ cùng lúc nhiều bài toán ứng dụng khác nhau, và cả ba ứng dụng được nêu đều là việc NLP làm hằng ngày. "Summarize blocks of text" là tóm tắt văn bản tự động (automatic summarization), rút ý chính của một đoạn dài thành bản ngắn. "Automatically generate keyword tags" là trích xuất từ khoá (keyword extraction), dùng thống kê như TF-IDF hay mô hình học máy để gắn nhãn chủ đề cho tài liệu. "Identify the type of entity extracted" là nhận dạng thực thể có tên (Named Entity Recognition – NER), xác định một cụm từ là tên người, tổ chức, địa điểm hay ngày tháng. Vì mỗi phát biểu riêng lẻ đều đúng, chọn một trong ba là bỏ sót hai ứng dụng hợp lệ kia, nên chỉ phương án gộp tất cả mới trả lời trọn câu hỏi.

Đáp án đúng: "True". Từ cuối thập niên 1980, NLP chuyển từ các hệ luật viết tay sang học từ dữ liệu: mô hình n-gram, HMM, Naive Bayes, CRF học tham số xác suất từ kho ngữ liệu (corpus), và các mạng nơ-ron ngày nay như LSTM, Transformer vẫn là học máy thống kê vì chúng tối ưu một hàm mất mát trên dữ liệu mẫu và đưa ra dự đoán dưới dạng phân phối xác suất. Cách tiếp cận này chịu được nhập nhằng và biến thể của ngôn ngữ thật tốt hơn luật cứng, nên phát biểu mô tả đúng nền tảng của NLP hiện đại. Phương án "False" sai vì nó ngầm cho rằng NLP hiện đại vẫn chủ yếu dựa trên luật hoặc tri thức viết tay; luật vẫn còn được dùng cho vài bước như tách câu hay chuẩn hoá chuỗi, nhưng không còn là nền tảng của các thuật toán chính.

Đáp án đúng: "Association Rule Mining/Market Basket Analysis". Câu hỏi đếm xem chocolate cup cake được mua bao nhiêu lần khi brownie và strawberry muffin cùng nằm trong giỏ, tức luật kết hợp dạng {brownie, strawberry muffin} suy ra {chocolate cup cake}; đây là bài toán khai phá dữ liệu giao dịch, nằm ngoài NLP, giải bằng khai phá luật kết hợp hay phân tích giỏ hàng với các thuật toán như Apriori, FP-Growth, đếm support (tỷ lệ giao dịch chứa cả ba món) và confidence (tỷ lệ giao dịch có hai món đầu mà cũng có món thứ ba). "Neural Network" và "Decision Tree" là mô hình học có giám sát, cần một nhãn đích để dự đoán, không sinh ra luật đồng xuất hiện giữa các món hàng. "K-means Clustering" gom khách hàng hoặc giao dịch thành cụm theo khoảng cách, cho biết nhóm nào giống nhau chứ không đếm được tần suất một món đi kèm một tổ hợp món khác.

Đáp án đúng: "Digital assistance, chatbots, Text summarization, text retrieval, sentiment analysis, translation etc.". NLP (xử lý ngôn ngữ tự nhiên) là lĩnh vực giúp máy hiểu và sinh ngôn ngữ con người, nên ví dụ của nó là các ứng dụng làm việc trực tiếp với văn bản hay lời nói: trợ lý ảo hiểu câu lệnh, chatbot hội thoại, tóm tắt văn bản, truy xuất văn bản, phân tích cảm xúc và dịch máy. "Clustering and differentiating patterns." là kỹ thuật học máy chung (phân cụm, nhận dạng mẫu) áp dụng cho mọi loại dữ liệu như ảnh, giao dịch, tín hiệu cảm biến; NLP có thể dùng phân cụm văn bản nhưng bản thân phân cụm không phải một ví dụ ứng dụng NLP. "Deep Learning, Machine Learning, AI etc." là các lĩnh vực và phương pháp bao trùm hoặc làm công cụ cho NLP, không phải ví dụ về NLP; quan hệ đúng là NLP là một nhánh của AI và dùng học máy, học sâu để giải bài toán ngôn ngữ. "None of Above" sai vì đã có một danh sách ứng dụng NLP đúng.

Đáp án đúng: "All of the others". Quá trình hiểu ngôn ngữ thường được chia thành năm giai đoạn: phân tích hình thái và từ vựng (tách từ, nhận diện gốc và phụ tố), phân tích cú pháp (cấu trúc câu), phân tích ngữ nghĩa (nghĩa của câu), tích hợp diễn ngôn (liên kết câu với các câu trước, như xác định đại từ trỏ tới ai) và phân tích ngữ dụng (ý định thực trong hoàn cảnh). "Morphological and Lexical Analysis" là giai đoạn đầu, đúng nhưng chưa đủ. "Syntactic Analysis and Semantic Analysis" là hai giai đoạn giữa, cũng đúng nhưng chỉ là một phần. "Discourse Integration, Pragmatic Analysis" là hai giai đoạn cuối, đúng nhưng thiếu các mức phân tích bên dưới. Mỗi phương án riêng lẻ chỉ nêu một đoạn của chuỗi, nên phương án gộp mới mô tả đầy đủ các thành phần của NLP.

Đáp án đúng: "Modern NLP algorithms are largely based on machine learning, particularly statistical machine learning techniques.". Từ cuối thập niên 1980, NLP chuyển từ luật viết tay sang học từ ngữ liệu: các mô hình n-gram, HMM, Naive Bayes, CRF ước lượng tham số từ dữ liệu, và ngày nay mạng nơ-ron sâu như Transformer, BERT, GPT cũng là học máy thống kê trên ngữ liệu khổng lồ. Hệ thống tự học quy luật từ dữ liệu thay vì để chuyên gia mã hoá từng luật. "Modern NLP algorithms primarily rely on rule-based systems and linguistic dictionaries." mô tả đúng giai đoạn đầu của NLP; luật và từ điển ngày nay chỉ còn là thành phần phụ trợ, như danh sách stop words hay lexicon cảm xúc. "Modern NLP algorithms exclusively use symbolic logic and knowledge representation." mô tả trường phái AI biểu tượng; chữ exclusively khiến nó sai vì NLP hiện đại chủ yếu là học máy. "solely dependent on pre-programmed grammatical structures without any learning from data" đi ngược hẳn bản chất học từ dữ liệu của NLP hiện đại.

Đáp án đúng: "Representation". Trong NLP, thành phần hiểu ngôn ngữ tự nhiên (NLU) phải ánh xạ câu đầu vào thành một biểu diễn (representation) mà máy xử lý được, như cây cú pháp, dạng logic, khung ngữ nghĩa hay vectơ nhúng, rồi thành phần sinh ngôn ngữ (NLG) đi ngược từ biểu diễn đó ra câu chữ; vì vậy biểu diễn là thành phần quan trọng, hiểu theo đúng nghĩa biến đầu vào thành cấu trúc bên trong chứ không phải nghĩa trình bày thông thường. "Description" là văn miêu tả, một thể loại văn bản tả người, vật, cảnh. "Exposion" chỉ kiểu văn thuyết minh, giải thích một vấn đề. "Narration" là văn tự sự, kể lại chuỗi sự kiện. Các thể loại văn bản như vậy là đối tượng mà NLP có thể xử lý, không phải thành phần cấu tạo nên một hệ NLP.

Đáp án đúng: "True". Xử lý ngôn ngữ tự nhiên là nhánh của khoa học máy tính và trí tuệ nhân tạo nghiên cứu sự tương tác giữa máy tính và ngôn ngữ của con người, theo hai chiều: hiểu ngôn ngữ (NLU) như phân tích cú pháp, trích xuất thông tin, phân loại cảm xúc, và sinh ngôn ngữ (NLG) như dịch máy, tóm tắt, chatbot trả lời. Phát biểu nêu đúng định nghĩa chuẩn này, trong đó chữ natural phân biệt các ngôn ngữ như tiếng Anh, tiếng Việt với ngôn ngữ hình thức như ngôn ngữ lập trình. Phương án "False" sai vì phủ nhận chính phạm vi của lĩnh vực; mọi bài toán NLP, từ tách từ tới mô hình ngôn ngữ lớn, đều là cách để máy tính đọc, xử lý hoặc tạo ra ngôn ngữ tự nhiên của con người.

Đáp án đúng: "Market Basket Analysis". Market basket analysis (phân tích giỏ hàng) là bài toán khai phá luật kết hợp trong khai phá dữ liệu, nằm ngoài NLP: nó đọc dữ liệu giao dịch, mỗi giao dịch là một tập mặt hàng, rồi dùng thuật toán như Apriori hay FP-Growth tìm luật kiểu ai mua bánh mì thì hay mua bơ, đánh giá bằng support, confidence và lift; dữ liệu là tập mặt hàng chứ không phải ngôn ngữ. "ChatBot" là ứng dụng NLP điển hình vì phải hiểu câu hỏi bằng ngôn ngữ tự nhiên và sinh câu trả lời. "Speech Recognition" (nhận dạng tiếng nói) chuyển tín hiệu tiếng nói thành văn bản, dùng mô hình âm học kết hợp mô hình ngôn ngữ, là một nhánh của xử lý ngôn ngữ. "Sentimental Analysis" (phân tích cảm xúc) phân loại văn bản là tích cực, tiêu cực hay trung tính, là bài toán phân loại văn bản quen thuộc của NLP.

Đáp án đúng: "True". Khai phá luật kết hợp (association rule mining), còn gọi phân tích giỏ hàng (market basket analysis), là kỹ thuật khai phá dữ liệu, nằm ngoài NLP nhưng thuộc học máy nói chung. Nó tìm các quy tắc dạng mua bánh mì và bơ thì thường mua sữa từ dữ liệu giao dịch, đo bằng support (độ hỗ trợ, tỷ lệ giao dịch chứa tập mục), confidence (độ tin cậy) và lift, qua các thuật toán như Apriori hay FP-Growth. Dữ liệu đầu vào chỉ là các giao dịch, không có nhãn đầu ra nào để mô hình học theo, và mục tiêu là phát hiện cấu trúc ẩn trong dữ liệu, nên nó thuộc học không giám sát (unsupervised), cùng nhóm với phân cụm. "False" sai vì học có giám sát đòi hỏi cặp đầu vào và nhãn đúng để huấn luyện như trong phân loại hay hồi quy, điều mà khai phá luật kết hợp hoàn toàn không cần.

Đáp án đúng: "NLTK". NLTK (Natural Language Toolkit) là thư viện Python chuyên cho xử lý ngôn ngữ tự nhiên, cung cấp sẵn các công cụ tách token, rút gọn gốc từ (PorterStemmer), lemmatization qua WordNet, gán nhãn từ loại, phân tích cú pháp, cùng nhiều kho ngữ liệu để học và thử nghiệm, nên là công cụ NLP kinh điển trong Python. "TensorFlow" là khung học sâu đa năng của Google; có thể dùng nó để xây mô hình NLP, nhưng bản thân nó là thư viện tính toán tensor và huấn luyện mạng nơ-ron cho mọi lĩnh vực, không phải bộ công cụ chuyên NLP. "OpenCV" là thư viện thị giác máy tính, xử lý ảnh và video như phát hiện cạnh, nhận dạng khuôn mặt. "Matplotlib" là thư viện vẽ biểu đồ và trực quan hoá dữ liệu, chỉ dùng để minh hoạ kết quả chứ không xử lý văn bản.

Đáp án đúng: "spaCy". spaCy là thư viện Python chuyên cho xử lý ngôn ngữ tự nhiên, cung cấp sẵn pipeline gồm tokenization, gán nhãn từ loại, lemmatization, phân tích phụ thuộc, nhận diện thực thể có tên và vector từ, với mô hình huấn luyện sẵn cho nhiều ngôn ngữ; cùng với NLTK, nó là thư viện NLP hay gặp nhất. "NumPy" là thư viện tính toán số học với mảng nhiều chiều và đại số tuyến tính, là nền cho nhiều thư viện khác nhưng không có công cụ xử lý ngôn ngữ nào. "Pandas" là thư viện thao tác dữ liệu dạng bảng qua DataFrame, hữu ích để đọc và lọc tập dữ liệu văn bản nhưng không tách từ hay phân tích cú pháp. "Seaborn" là thư viện trực quan hoá dữ liệu thống kê xây trên Matplotlib, dùng để vẽ biểu đồ, không phải thư viện NLP.

Đáp án đúng: "Knowing what you want rather than what you don’t want.". Câu này thuộc Neuro-Linguistic Programming (lập trình ngôn ngữ tư duy), cũng viết tắt NLP nhưng là một trường phái tâm lý ứng dụng và giao tiếp, nằm ngoài Natural Language Processing. Trong đó outcome thinking (tư duy theo kết quả) là thói quen đặt mục tiêu dưới dạng điều mình muốn đạt được, cụ thể và tích cực, thay vì xoay quanh vấn đề hay điều mình muốn tránh, ví dụ nói tôi muốn khoẻ mạnh thay vì tôi không muốn ốm. "Know about others" là hiểu người khác, gần với khái niệm tạo sự đồng cảm trong giao tiếp, không phải xác định kết quả mình mong muốn. "Know about the society None" nói về hiểu biết xã hội, cũng không liên quan đến việc định hướng mục tiêu cá nhân. "language" chỉ là ngôn ngữ nói chung, không mô tả một cách tư duy nào.

Đáp án đúng: "Corpus Based Approach". Cách tiếp cận thống kê trong NLP học tri thức ngôn ngữ từ một corpus (ngữ liệu) lớn: đếm tần suất, ước lượng xác suất như mô hình n-gram, HMM, Naive Bayes, nên còn được gọi là corpus-based (dựa trên ngữ liệu) hay data-driven. Chất lượng mô hình phụ thuộc vào lượng và độ phủ của ngữ liệu chứ không vào luật do chuyên gia viết. "Rule Based Approach" là hướng ngược lại, dựa trên luật ngữ pháp và từ điển viết tay, không học từ ngữ liệu. "CNN" (Convolutional Neural Network) là một kiến trúc mạng nơ-ron cụ thể, thuộc hướng học sâu, không phải tên gọi khác của cả cách tiếp cận thống kê. "K- nearest" chỉ thuật toán k láng giềng gần nhất, một phương pháp phân loại riêng lẻ, không đồng nghĩa với cách tiếp cận thống kê nói chung.

Đáp án đúng: "Rule based Approach.". Hướng tiếp cận ký hiệu (symbolic) trong NLP biểu diễn tri thức ngôn ngữ bằng các ký hiệu và luật do chuyên gia viết tay: văn phạm, từ điển, luật biến đổi hình thái, luật chuyển dịch. Hệ thống suy luận bằng cách áp luật lên ký hiệu nên còn được gọi là hướng dựa trên luật, như ELIZA hay các hệ dịch máy dựa trên luật đời đầu. "Convolutional Neural Networks." thuộc hướng kết nối (connectionist), học biểu diễn số từ dữ liệu chứ không dùng luật viết tay. "Corpus based." là hướng thống kê, học xác suất từ kho ngữ liệu lớn, đối lập với hướng ký hiệu. "Hybrid." là hướng lai kết hợp luật với thống kê hay mạng nơ-ron, không đồng nghĩa với symbolic.

Đáp án đúng: "Desciptive". Câu này thuộc mô hình thực thể–quan hệ (ER model) trong thiết kế cơ sở dữ liệu, nằm ngoài NLP: thuộc tính mô tả (descriptive attribute) là thuộc tính gắn trên chính mối quan hệ chứ không gắn trên thực thể, dùng để ghi kiểu và điều kiện của quan hệ đó; ví dụ quan hệ Enrolls giữa Student và Course mang thuộc tính grade hay enroll_date, vốn chỉ có nghĩa khi có một cặp sinh viên và môn học cụ thể. "Derived" là thuộc tính dẫn xuất, tính được từ thuộc tính khác như age suy ra từ date_of_birth, không nói gì về điều kiện của quan hệ. "Recursive" mô tả quan hệ đệ quy, khi một tập thực thể quan hệ với chính nó như nhân viên quản lý nhân viên, đó là một loại quan hệ chứ không phải thuộc tính. "Relative" không phải tên một loại thuộc tính trong mô hình ER.

Đáp án đúng: "All of the others". Cả ba tác vụ được liệt kê đều là bài toán lớn kinh điển của xử lý ngôn ngữ tự nhiên. "Automatic Summarization" (tóm tắt tự động) tạo bản rút gọn giữ ý chính của văn bản, theo hướng trích xuất câu quan trọng hoặc sinh câu mới. "Discourse Analysis" (phân tích diễn ngôn) xét quan hệ giữa các câu trong văn bản, như giải quyết đồng tham chiếu để biết đại từ trỏ tới ai và nhận diện quan hệ nguyên nhân, tương phản giữa các đoạn. "Machine Translation" (dịch máy) chuyển văn bản từ ngôn ngữ nguồn sang ngôn ngữ đích, từ hệ dựa trên luật, thống kê tới mạng nơ-ron Transformer. Vì mỗi tác vụ đều là nhiệm vụ chính của NLP, chọn riêng một trong ba chỉ đúng một phần và bỏ sót hai tác vụ còn lại, nên chỉ phương án gộp mới đủ.

Đáp án đúng: "Connectionist Approach". Connectionism (thuyết kết nối) là trường phái mô hình hoá trí tuệ bằng mạng gồm nhiều đơn vị đơn giản nối với nhau, tri thức nằm phân tán trong trọng số các kết nối và được học từ dữ liệu, chính là mạng nơ-ron; trong NLP, cách tiếp cận dùng mạng nơ-ron vì thế được gọi là connectionist approach. "Statistical" chỉ cách tiếp cận thống kê như n-gram, HMM, Naive Bayes ước lượng xác suất từ ngữ liệu; mạng nơ-ron cũng học từ dữ liệu nhưng tên gọi riêng của nó là connectionist chứ không phải statistical. "Symbolical" là cách tiếp cận biểu tượng, dùng luật, logic và biểu diễn tri thức viết tay, đối lập với connectionism. "All of above" sai vì mạng nơ-ron không được gọi là cách tiếp cận biểu tượng, nên không thể gộp cả ba.

Đáp án đúng: "TRUE". Speech recognition (nhận dạng tiếng nói) biến tín hiệu âm thanh liên tục thành văn bản. Trong lời nói tự nhiên không có khoảng lặng rõ ràng giữa các từ, nên hệ thống phải xác định ranh giới của các đơn vị như âm vị, âm tiết, từ trong dòng âm thanh; đó là speech segmentation (phân đoạn tiếng nói). Vì nhận dạng đúng từ đòi hỏi tách đúng ranh giới và ngược lại, phân đoạn được xem là một bài toán con của nhận dạng tiếng nói, tương tự word segmentation là bài toán con khi xử lý văn bản tiếng Trung hay tiếng Việt. "FALSE" sai vì phân đoạn không phải một ứng dụng độc lập đứng ngoài nhận dạng; trong hệ hiện đại nó có thể được làm ngầm bên trong mô hình, nhưng vẫn là việc mà hệ nhận dạng buộc phải giải.

Đáp án đúng: "Topic Modeling". Học không giám sát (unsupervised learning) tìm cấu trúc trong dữ liệu không có nhãn. Topic modeling, ví dụ LDA hay NMF, chỉ nhận một tập văn bản thô và tự khám phá các chủ đề ẩn dưới dạng phân phối trên từ vựng, không cần ai gán sẵn chủ đề cho tài liệu. "POS Tagging" (gán nhãn từ loại) thường được huấn luyện có giám sát trên ngữ liệu đã gán nhãn như Penn Treebank, dù có những biến thể không giám sát ít phổ biến. "NER" (nhận dạng thực thể có tên) cần dữ liệu huấn luyện có đánh dấu sẵn tên người, tổ chức, địa điểm, nên là bài toán gán nhãn chuỗi có giám sát. "Text Classification" (phân loại văn bản) học từ các tài liệu đã có nhãn lớp như thư rác hay không, tích cực hay tiêu cực, nên là học có giám sát điển hình.