AID301c - Phần 3: Xử lý đặc trưng và phát hiện thiên lệch

Đáp án đúng: "An attack that injects malicious data into the training set". Poisoning attack (tấn công đầu độc dữ liệu) là kiểu tấn công nhắm vào giai đoạn huấn luyện: kẻ tấn công chèn hoặc sửa một phần dữ liệu huấn luyện, ví dụ gắn nhãn sai hay cài mẫu có dấu hiệu kích hoạt, để mô hình học ra hành vi lệch theo ý họ. Phương án "An attack that occurs during model deployment" sai vì lúc triển khai mô hình đã học xong, tấn công ở đây thường là đánh lừa đầu vào chứ không đầu độc dữ liệu học. Phương án "An attack that modifies the model's architecture" mô tả việc can thiệp trực tiếp vào cấu trúc mô hình, đó là xâm nhập hệ thống chứ không phải đầu độc dữ liệu. Phương án "An attack that occurs only at test time" là định nghĩa của evasion attack (tấn công né tránh), dùng mẫu đối kháng (adversarial example) để đánh lừa mô hình đã huấn luyện, trái ngược hẳn với poisoning vốn xảy ra trước khi mô hình được dùng.

Đáp án đúng: "It can be misleading.". Accuracy (độ chính xác tổng thể) là tỉ lệ dự đoán đúng trên tổng số mẫu, nên khi các lớp mất cân bằng, chẳng hạn 99% giao dịch hợp lệ và 1% gian lận, một mô hình luôn đoán hợp lệ vẫn đạt accuracy 99% dù không bắt được ca gian lận nào; vì vậy cần xem thêm precision, recall, F1 hoặc ma trận nhầm lẫn. "It is always accurate." sai vì chính ví dụ trên cho thấy con số cao có thể che giấu một mô hình vô dụng với lớp thiểu số. "It is the only metric available." sai vì còn nhiều chỉ số khác như recall, F1, ROC AUC hay PR AUC, vốn phù hợp hơn cho dữ liệu mất cân bằng. "It does not consider false positives." sai vì accuracy có tính dương tính giả: chúng nằm trong phần dự đoán sai làm giảm tử số; vấn đề thật là nó gộp mọi loại lỗi làm một và để lớp đa số lấn át kết quả.

Đáp án đúng: "Iteration". Biến đổi dữ liệu (data transformation) như chuẩn hoá, mã hoá biến phân loại, giảm chiều hay xử lý giá trị thiếu hiếm khi đúng ngay lần đầu; người làm phải thử, đánh giá ảnh hưởng tới mô hình rồi điều chỉnh, nên lặp lại (iteration) là đặc điểm cốt lõi, và pipeline giúp việc thử lại diễn ra nhất quán. "Data collection" là bước thu thập dữ liệu diễn ra trước, không phải đặc điểm của việc áp dụng biến đổi. "Data visualization" hỗ trợ khám phá và kiểm tra kết quả, nhưng bản thân nó không phải cách áp dụng biến đổi. "Data storage" nói về nơi lưu trữ dữ liệu như cơ sở dữ liệu hay tệp, không liên quan trực tiếp tới quá trình biến đổi.

Đáp án đúng: "To simplify models and reduce computation time". Dimensionality reduction (giảm chiều dữ liệu) là giảm số đặc trưng đầu vào, bằng cách chọn ra các đặc trưng quan trọng hoặc biến đổi chúng thành ít thành phần hơn như PCA (phân tích thành phần chính), trong khi giữ lại phần lớn thông tin. Nhờ vậy mô hình gọn hơn, huấn luyện nhanh hơn, ít bị overfitting (quá khớp) và dữ liệu dễ trực quan hóa hơn. "To increase the number of features" đi ngược hẳn mục tiêu; tạo thêm đặc trưng là việc của feature engineering chứ không phải giảm chiều. "To eliminate all data points" sai, vì giảm chiều tác động lên cột (đặc trưng) chứ không xóa hàng (mẫu), và xóa hết dữ liệu thì không còn gì để học. "To create more complex models" cũng ngược mục đích, vì giảm chiều nhằm làm mô hình đơn giản đi.

Đáp án đúng: "Both A and B". Mất cân bằng lớp (class imbalance) là khi một lớp có ít mẫu hơn hẳn lớp khác, khiến mô hình thiên về lớp đông. Hai cách lấy mẫu lại phổ biến đều được dùng: over-sampling (tăng mẫu lớp thiểu số) và under-sampling (giảm mẫu lớp đa số), nên phương án gộp cả hai là đúng. "Over-sampling" đúng nhưng chưa đủ: nó nhân bản hoặc sinh mẫu tổng hợp cho lớp thiểu số, ví dụ SMOTE, nhưng chỉ là một trong hai kỹ thuật được hỏi. "Under-sampling" cũng đúng nhưng chưa đủ: nó bỏ bớt mẫu lớp đa số để cân bằng tỷ lệ, đổi lại có thể mất thông tin. Chọn riêng một trong hai là bỏ sót kỹ thuật còn lại cũng được dùng phổ biến. "None of the above" sai vì cả hai kỹ thuật đều thực sự được dùng để xử lý mất cân bằng lớp.

Đáp án đúng: "Under-representing certain subgroups in the data". Sampling bias (sai lệch lấy mẫu) xảy ra khi mẫu không phản ánh đúng tổng thể, ví dụ một nhóm khách hàng hay nhóm nhân khẩu học bị lấy quá ít, khiến mô hình học sai hoặc kém công bằng với nhóm đó. "Using a larger dataset" không tự gây sai lệch; dữ liệu lớn còn giảm phương sai ước lượng, dù dữ liệu lớn mà lấy lệch vẫn lệch. "Increasing the number of features" có thể gây quá khớp hoặc lời nguyền số chiều, nhưng đó không phải sai lệch trong cách chọn mẫu. "Using cross-validation" là kỹ thuật đánh giá mô hình bằng cách chia dữ liệu nhiều lần, giúp ước lượng hiệu năng tin cậy hơn chứ không tạo ra sai lệch lấy mẫu.

Đáp án đúng: "Latent Dirichlet Allocation (LDA)". LDA là mô hình xác suất sinh, giả định mỗi văn bản là hỗn hợp của một số chủ đề ẩn và mỗi chủ đề là một phân phối trên các từ, với tiên nghiệm Dirichlet; học trên ma trận đếm từ sẽ cho ra các nhóm từ đặc trưng của từng chủ đề, nên đây là phương pháp topic modeling (mô hình hoá chủ đề) kinh điển. "Principal Component Analysis (PCA)" sai vì PCA là giảm chiều tuyến tính tìm hướng phương sai lớn nhất, thành phần của nó có thể mang giá trị âm nên khó đọc thành chủ đề. "Support Vector Machines (SVM)" sai vì SVM là thuật toán phân loại có giám sát, cần nhãn sẵn, trong khi mô hình hoá chủ đề là bài toán không giám sát. "K-Means Clustering" sai vì K-Means gán cứng mỗi văn bản vào đúng một cụm theo khoảng cách, không mô hình hoá văn bản như hỗn hợp nhiều chủ đề; nó gom được văn bản giống nhau nhưng không phải phương pháp topic modeling chuẩn.

Đáp án đúng: "Down-sampling of the majority class". Đây là câu phủ định. Giảm chiều (dimensionality reduction) là giảm số đặc trưng, tức số cột, bằng cách chiếu dữ liệu sang không gian ít chiều hơn hoặc chọn bớt đặc trưng; down-sampling lớp đa số lại bỏ bớt dòng, tức bớt mẫu, để cân bằng các lớp, nên số chiều giữ nguyên và đây là kỹ thuật xử lý mất cân bằng chứ không phải giảm chiều. "Principal components analysis to process images used in classification." là ứng dụng hợp lệ nên không chọn, vì PCA nén hàng nghìn điểm ảnh thành vài chục thành phần chính trước khi phân loại, như cách làm eigenfaces. "Non-negative matrix factorization to resolve topics from a corpus of words." hợp lệ vì NMF phân rã ma trận tài liệu và từ thành hai ma trận không âm, mỗi thành phần đọc được như một chủ đề. "t-distributed stochastic neighbor embedding to visualize the results of a clustering algorithm." hợp lệ vì t-SNE chiếu dữ liệu nhiều chiều xuống hai hoặc ba chiều mà vẫn giữ quan hệ lân cận, rất hợp để nhìn các cụm. "Using an ANOVA to select a subset of features" hợp lệ vì chọn đặc trưng theo kiểm định F của ANOVA, như SelectKBest với f_classif, là giảm chiều bằng lựa chọn đặc trưng.

Đáp án đúng: "Because sharing with domain experts might enable topic-specific feature engineering". Tác động lên cơ hội kinh doanh nghĩa là kết quả mô hình chủ đề (topic model) được chuyển thành giá trị cho bài toán; trực quan hóa giúp chuyên gia lĩnh vực đọc được các chủ đề, từ đó đề xuất đặc trưng (feature) gắn với từng chủ đề để đưa vào mô hình phía sau, đó là đường đi từ phân tích tới giá trị. Các phương án kia đều là lợi ích có thật của trực quan hóa nhưng dừng ở mức kỹ thuật, chưa nối tới cơ hội kinh doanh: "Because visual inspection can help choose the number of topics" là việc chọn siêu tham số của mô hình; "Because we are able to see the top words with each topic" chỉ là cách đọc nội dung từng chủ đề; "Because we are able to see the relative importance of each topic across the corpus" mô tả tỷ trọng các chủ đề trong kho văn bản; "Because domain experts can visually inspect the validity of the topics" là bước kiểm tra chất lượng, có ích nhưng chưa tạo ra hành động mới như đặc trưng mới cho mô hình.

Đáp án đúng: "Adversarial Robustness Toolbox". Adversarial Robustness Toolbox (ART) là thư viện mã nguồn mở do IBM khởi xướng, chuyên đánh giá và tăng độ bền vững của mô hình học máy trước tấn công đối kháng (adversarial attack), tức các đầu vào bị chỉnh rất nhỏ để đánh lừa mô hình; nó cung cấp sẵn các phép tấn công, phòng thủ và thước đo độ bền. Phương án "TensorFlow" là framework để xây dựng và huấn luyện mô hình, không phải công cụ chuyên kiểm tra độ bền, dù ART có thể làm việc với mô hình TensorFlow. Phương án "Scikit-learn" là thư viện học máy cổ điển cho phân loại, hồi quy, phân cụm, không có chức năng đánh giá tấn công đối kháng. Phương án "Keras" là API bậc cao để định nghĩa mạng nơ-ron, mục đích là xây mô hình chứ không kiểm chứng độ bền của mô hình.

Đáp án đúng: "A way of representing text data by counting the frequency of words.". Bag-of-words (túi từ) biểu diễn mỗi văn bản thành một vectơ đếm số lần mỗi từ trong bộ từ vựng xuất hiện, bỏ qua thứ tự và ngữ pháp; ma trận văn bản và từ này là đầu vào cho các mô hình chủ đề như LDA hay NMF, vốn tìm các nhóm từ thường đi cùng nhau. "A method of visualizing data in three dimensions." nhầm với trực quan hoá, trong khi túi từ là cách mã hoá dữ liệu văn bản. "A technique for organizing documents based on their length." sai vì độ dài không phải nội dung của biểu diễn, dù tổng số đếm có phản ánh độ dài. "A model that predicts the next word in a sentence." mô tả mô hình ngôn ngữ, vốn cần đúng thứ tự từ, trong khi túi từ cố ý bỏ qua thứ tự.