Câu hỏi: AID301c - Phần 4: Học máy, nhận dạng hình ảnh và ngôn ngữ tự nhiên

Đáp án đúng: "To analyze and understand human language". Xử lý ngôn ngữ tự nhiên (NLP) là nhánh của AI giúp máy tính phân tích, hiểu và sinh ngôn ngữ con người ở dạng văn bản hoặc lời nói, với các bài toán như phân loại cảm xúc, nhận dạng thực thể, dịch máy, tóm tắt hay trả lời câu hỏi. "To create visual content" sai vì tạo hình ảnh thuộc thị giác máy tính và các mô hình sinh ảnh, dù một số hệ đa phương thức nhận mô tả bằng chữ làm đầu vào. "To develop hardware components" sai vì NLP là lĩnh vực thuật toán và mô hình, không thiết kế linh kiện phần cứng. "To manage databases" sai vì quản trị cơ sở dữ liệu là việc của các hệ quản trị như PostgreSQL hay MongoDB; NLP có thể giúp truy vấn bằng ngôn ngữ tự nhiên nhưng đó không phải mục đích chính của nó.

Đáp án đúng: "True". Train-test split (chia tập huấn luyện và kiểm tra) giữ riêng một phần dữ liệu mô hình chưa từng thấy để đo hiệu năng một cách trung thực, còn cross-validation (kiểm định chéo) chia tập huấn luyện thành nhiều phần, lần lượt huấn luyện trên một số phần và đánh giá trên phần còn lại, cho ước lượng hiệu năng ổn định hơn và dùng để chọn siêu tham số mà không đụng tới tập kiểm tra. Kết hợp hai công cụ này giúp phát hiện overfitting (quá khớp) và đảm bảo mô hình được điều chỉnh phù hợp để tổng quát hoá cho dữ liệu chưa thấy, đúng như phát biểu. Chọn "False" là sai vì nếu chỉ đánh giá trên dữ liệu huấn luyện thì sai số sẽ lạc quan quá mức, mô hình có thể học thuộc dữ liệu mà vẫn trông rất tốt, và ta không có cách nào biết nó hoạt động ra sao khi triển khai.

Đáp án đúng: "Processing and analyzing customer feedback". Doanh nghiệp lớn nhận khối lượng phản hồi rất lớn dưới dạng văn bản tự do như email, đánh giá sản phẩm, bài đăng mạng xã hội và ghi chép tổng đài, nên NLP được dùng để phân tích cảm xúc, phân loại chủ đề khiếu nại và trích ý chính một cách tự động thay cho đọc tay. "Managing financial transactions" sai vì giao dịch tài chính là dữ liệu có cấu trúc, xử lý bằng hệ thống nghiệp vụ và cơ sở dữ liệu, không cần hiểu ngôn ngữ. "Designing physical products" sai vì thiết kế sản phẩm vật lý dựa vào kỹ thuật và công cụ CAD; NLP có thể tổng hợp ý kiến khách hàng làm đầu vào nhưng không tự thiết kế sản phẩm. "Conducting scientific experiments" sai vì tiến hành thí nghiệm là hoạt động thực nghiệm, còn NLP chỉ hỗ trợ ở khâu đọc và tổng hợp tài liệu nghiên cứu.

Đáp án đúng: "like predicting time to failure for a machine where we expect a long tailed distribution of values". RMSE bình phương sai số trước khi lấy trung bình nên phạt rất nặng những sai số lớn; với phân phối đuôi dài (long-tailed), vài máy hỏng rất muộn sẽ tạo sai số khổng lồ và chi phối toàn bộ RMSE. MAE lấy trung bình trị tuyệt đối nên bền vững hơn trước ngoại lai, phản ánh sai số điển hình tốt hơn. "where we would like to interpret the error metric in terms of the original units" không phân biệt được hai thước đo, vì cả MAE lẫn RMSE đều mang đơn vị gốc. "like predicting daily temperature where we expect a small range of values" là trường hợp sai số nhỏ và đều, hai thước đo cho kết quả gần nhau nên không có lý do mạnh để ưu tiên MAE. "like predicting the category or topic associated with a document" là bài toán phân loại, không dùng thước đo hồi quy. "as a squared version of the original units" mô tả MSE, không phải MAE hay RMSE.

Đáp án đúng: "Correctly predicted positive cases". Trong confusion matrix (ma trận nhầm lẫn), True Positive là số mẫu thực sự thuộc lớp dương và mô hình cũng dự đoán là dương, ví dụ bệnh nhân có bệnh được mô hình phát hiện đúng là có bệnh; chữ True nói dự đoán đúng, chữ Positive nói nhãn dự đoán là dương. Phương án "Correctly predicted negative cases" là True Negative: mẫu âm được dự đoán đúng là âm. Phương án "Incorrectly predicted positive cases" là False Positive: mô hình báo dương nhưng thực tế là âm, còn gọi là báo động giả hay lỗi loại I. Phương án "Incorrectly predicted negative cases" là False Negative: mô hình báo âm trong khi thực tế là dương, tức bỏ sót, còn gọi là lỗi loại II. Bốn ô này là nền để tính precision, recall và F1.

Đáp án đúng: "As visually similar as possible to the positive images". Ảnh âm (negative images) cho bộ phân loại biết thế nào là không thuộc lớp cần nhận diện. Ảnh âm có bối cảnh, màu sắc, bố cục giống ảnh dương nhưng không chứa đối tượng buộc mô hình học đúng đặc điểm riêng của đối tượng thay vì dựa vào nền hay màu chung, nên ranh giới quyết định sắc hơn; đây là tinh thần của hard negatives (mẫu âm khó). "Background images without the positive images" không sai hẳn, nhưng nếu nền khác xa ảnh dương thì mô hình dễ học mẹo phân biệt theo nền. "As random as possible to establish a background" và "Visually distinct from the positive images" cho ví dụ quá dễ phân biệt, mô hình học được rất ít. "Randomly generated from the positive images" có nguy cơ vẫn chứa mảnh đối tượng, làm nhãn âm bị nhiễu.

Đáp án đúng: "Classifier interface". Đây là câu phủ định: scikit-learn thiết kế API quanh ba giao diện chính là Estimator (có fit để học từ dữ liệu), Predictor (có predict và thường kèm score) và Transformer (có transform cùng fit_transform); các bộ phân loại như LogisticRegression chỉ là đối tượng vừa là estimator vừa là predictor, chứ thư viện không định nghĩa một giao diện riêng mang tên Classifier. "Transformer interface" là giao diện thật nên không chọn, dùng cho các bước tiền xử lý như StandardScaler hay PCA. "Estimator interface" là giao diện thật, nền của mọi đối tượng học được bằng fit, kể cả mô hình lẫn bộ tiền xử lý. "Predictor interface" là giao diện thật, cho phép mô hình đã huấn luyện sinh dự đoán trên dữ liệu mới bằng predict.

Đáp án đúng: "True positives and false negatives.". F1 Score là trung bình điều hoà của precision và recall, chỉ xoay quanh lớp dương và hoàn toàn bỏ qua true negative; nó được dùng khi dữ liệu mất cân bằng và điều quan trọng là bắt được các ca dương thật, nên trọng tâm nằm ở việc tăng true positive và hạn chế false negative, tức bỏ sót ca dương mà accuracy dễ che giấu. Phương án "True negatives." sai vì true negative không xuất hiện trong công thức F1; đây chính là điểm khác F1 với accuracy. Phương án "False positives." sai vì chỉ nêu một loại lỗi đơn lẻ, trong khi F1 trước hết đo mức bắt đúng ca dương. Phương án "True positives and false positives." chỉ mô tả precision, một thành phần của F1; nó phù hợp khi điều cần lo là báo động giả, còn câu hỏi hướng tới trọng tâm là không bỏ sót ca dương mà F1 được dùng để bảo vệ.

Đáp án đúng: "Decision tree". Học tập hợp (ensemble learning) là kết hợp dự đoán của nhiều mô hình cơ sở để được mô hình mạnh hơn từng mô hình riêng lẻ; một cây quyết định đơn chỉ là một mô hình, thường lại chính là mô hình cơ sở mà các phương pháp tập hợp dùng, nên không phải ví dụ của cách tiếp cận tập hợp. Câu hỏi phủ định nên các phương pháp tập hợp sau không được chọn. "Random forest" gộp nhiều cây huấn luyện trên mẫu bootstrap và tập con đặc trưng ngẫu nhiên rồi bỏ phiếu hoặc lấy trung bình, do Breiman đề xuất. "Boosting" huấn luyện tuần tự các mô hình yếu, mô hình sau tập trung vào lỗi của mô hình trước, rồi cộng chúng có trọng số. "Model stacking" dùng một mô hình meta học cách kết hợp dự đoán của nhiều mô hình khác loại. "Gradient boosting" là dạng boosting trong đó mỗi cây mới khớp với gradient của hàm mất mát, tức phần dư của tập hợp hiện tại.

Đáp án đúng: "False". Phát biểu sai vì dịch vụ Watson Visual Recognition không chỉ dùng được qua khoá API với Python hay curl: người dùng có thể làm việc qua giao diện web trong Watson Studio để huấn luyện và thử bộ phân loại ảnh mà không viết mã, và IBM cung cấp SDK cho nhiều ngôn ngữ khác như Node.js hay Java, tất cả đều gọi tới cùng REST API (giao diện lập trình qua HTTP). Chính từ only trong phát biểu, tức là chỉ có hai cách đó, khiến nó sai. "True" sai vì Python và curl chỉ là hai trong nhiều cách truy cập dịch vụ; chúng là ví dụ phổ biến khi làm bài thực hành gọi API, nhưng không phải con đường duy nhất, nên không thể khẳng định phát biểu mang tính tuyệt đối này là đúng.

Đáp án đúng: "Root Mean Square Error". RMSE là căn bậc hai của trung bình bình phương sai số giữa giá trị dự đoán và giá trị thật, một thước đo phổ biến cho bài toán hồi quy; nó cùng đơn vị với biến mục tiêu nên dễ diễn giải, và vì bình phương sai số trước khi lấy trung bình nên phạt nặng các sai số lớn. Phương án "Relative Mean Squared Error" sai vì chữ R ở đây là Root (căn), không phải Relative (tương đối); sai số tương đối là một họ thước đo khác, chia cho độ lớn giá trị thật. Phương án "Random Mean Square Evaluation" sai cả hai chữ: không có yếu tố ngẫu nhiên nào, và chữ E là Error (sai số) chứ không phải Evaluation. Phương án "Root Mean Squared Evaluation" đúng phần Root Mean Squared nhưng sai chữ cuối, vì E là sai số được đo, không phải hoạt động đánh giá.

Đáp án đúng gồm ba ý: "Learning", "Estimation" và "Model Fitting". Trong học có giám sát, quá trình điều chỉnh tham số của mô hình để khớp với dữ liệu huấn luyện có nhãn được gọi bằng nhiều tên tuỳ cộng đồng: giới học máy gọi là learning (học) hay training, giới thống kê gọi là estimation (ước lượng tham số), còn trong thực hành thường gọi là model fitting (khớp mô hình), đúng như phương thức fit của scikit-learn. Ba thuật ngữ cùng chỉ một việc là tìm tham số tối ưu hoá hàm mất mát trên dữ liệu. "Labeling" sai vì gán nhãn là việc chuẩn bị dữ liệu, xác định đáp án đúng cho từng mẫu trước khi huấn luyện, chứ không phải bước điều chỉnh tham số của mô hình.

Đáp án đúng: "95-99%". Trong bài thực hành, một CNN (convolutional neural network, mạng nơ-ron tích chập) đơn giản được huấn luyện trên đủ mười lớp và toàn bộ dữ liệu của một bộ ảnh tương đối dễ, kiểu ảnh xám nhỏ như chữ số viết tay hay ảnh đồ thời trang. Với loại dữ liệu này, chỉ vài lớp tích chập và pooling đã học được nét đặc trưng đủ tốt để đạt độ chính xác rất cao, vì các lớp tách biệt rõ và có nhiều mẫu cho mỗi lớp. Các khoảng thấp hơn ứng với bối cảnh khác mà câu hỏi không hỏi: "62-77%" là mức thường gặp khi CNN nhỏ gặp bộ ảnh màu tự nhiên khó, hoặc khi chỉ dùng một phần dữ liệu; "78-83%" và "84-89%" là mức của mô hình khó hơn hoặc dữ liệu ít, chưa phản ánh việc dùng đủ dữ liệu trên bộ dễ; "90-94%" gần nhưng vẫn thấp hơn mức mà CNN đơn giản dùng đủ mười lớp và toàn bộ dữ liệu đạt được trong bài.

Đáp án đúng: "Regression". Supervised learning (học có giám sát) học từ dữ liệu có nhãn; khi nhãn là một số thực liên tục như giá nhà, doanh thu hay nhiệt độ thì bài toán gọi là regression (hồi quy), với thước đo đánh giá thường dùng như MAE hay RMSE. "Classification" cũng là học có giám sát nhưng nhãn là các lớp rời rạc, chẳng hạn khách hàng có rời bỏ dịch vụ hay không. "Clustering" (phân cụm) thuộc học không giám sát, gom nhóm các mẫu giống nhau mà không cần nhãn. "Reinforcement Learning" (học tăng cường) là một nhánh riêng, trong đó tác tử học hành động qua thử và sai dựa trên phần thưởng, không phải bài toán dự đoán nhãn từ dữ liệu đã gán nhãn.