BDI302c - Phần 10: Phân loại và đánh giá mô hình

Đáp án đúng: "Impure split". Chỉ số Gini của một nút trong cây quyết định tính bằng 1 trừ tổng bình phương tỉ lệ các lớp; nút chỉ chứa một lớp có Gini bằng 0, còn hai lớp chia đều thì Gini đạt cực đại 0,5. Gini càng cao thì các lớp càng trộn lẫn, nghĩa là phép tách tạo ra nút không thuần (impure), và thuật toán như CART sẽ chọn phép tách làm giảm Gini nhiều nhất. "Pure split" ngược lại: tách thuần cho Gini bằng 0 hoặc rất thấp. "Perfect classification" cũng ứng với các nút lá thuần, Gini bằng 0. "Equal class balance" đúng là hoàn cảnh khiến Gini một nút đạt cực đại, nhưng điều chỉ số báo cho người xây cây là phép tách chưa tách được lớp, tức mức độ không thuần; cân bằng lớp của cả tập dữ liệu là chuyện khác mà câu hỏi không hỏi.

Đáp án đúng: "Divide the sum of the diagonal values in the confusion matrix by the total number of samples.". Ma trận nhầm lẫn (confusion matrix) xếp số mẫu theo lớp thật và lớp dự đoán; các ô trên đường chéo chính là những mẫu được dự đoán đúng lớp, các ô ngoài đường chéo là dự đoán sai. Độ chính xác (accuracy) bằng số dự đoán đúng chia tổng số mẫu: ví dụ ma trận hai lớp có đường chéo 50 và 40, ngoài chéo 6 và 4, thì accuracy bằng 90 chia 100, tức 0,9. "Divide the sum of the diagonal values in the confusion matrix by the sum of the off-diagonal values." chia số đúng cho số sai, ra tỷ số đúng trên sai (trong ví dụ là 90 chia 10 bằng 9) chứ không phải tỷ lệ đúng. "Divide the sum of all the values in the confusion matrix by the total number of samples." luôn bằng 1 vì tổng mọi ô chính là tổng số mẫu. "Divide the sum of the off-diagonal values in the confusion matrix by the total number of samples." cho tỷ lệ lỗi (error rate), bằng 1 trừ accuracy, tức 0,1 trong ví dụ.

Đáp án đúng: "All of the others". Để tránh overfitting (quá khớp), ta giữ lại một phần dữ liệu không dùng để huấn luyện làm validation set (tập kiểm định) và đo lỗi trên đó; cả ba kỹ thuật được nêu đều là cách tạo và dùng tập này. "random sub-sampling" lặp lại nhiều lần việc chia ngẫu nhiên dữ liệu thành phần huấn luyện và phần kiểm định rồi lấy trung bình lỗi. "k-fold cross-validation" chia dữ liệu thành k phần bằng nhau, lần lượt dùng mỗi phần làm tập kiểm định và k-1 phần còn lại để huấn luyện, nên mỗi mẫu đều được kiểm định đúng một lần. "leave-one-out cross-validation" là trường hợp đặc biệt của k-fold với k bằng số mẫu, mỗi lần chỉ để riêng một mẫu để kiểm định. Vì cả ba đều đúng, chọn riêng một kỹ thuật là chưa đầy đủ.

Đáp án đúng: "kNN". Thuật toán k láng giềng gần nhất (k-nearest neighbors) là thuật toán học lười (lazy learner): nó không dựng mô hình trước mà chỉ lưu lại toàn bộ dữ liệu huấn luyện, đến khi cần phân loại một mẫu mới mới tính khoảng cách tới mọi điểm, lấy k điểm gần nhất và bỏ phiếu theo nhãn, nên không có pha huấn luyện thật sự. "Decision tree" phải học từ dữ liệu bằng cách chọn thuộc tính tách tốt nhất theo độ đo như Gini hay information gain để dựng cây trước khi dự đoán. "Naïve Bayes" phải ước lượng xác suất tiên nghiệm của từng lớp và xác suất có điều kiện của từng thuộc tính từ dữ liệu huấn luyện. "SVM" phải giải bài toán tối ưu để tìm siêu phẳng phân tách có lề lớn nhất, đây là pha huấn luyện tốn kém.

Đáp án đúng: "kNN". kNN (k-Nearest Neighbors, k láng giềng gần nhất) là thuật toán phân lớp (classification) có giám sát: với một mẫu mới, nó tìm k mẫu huấn luyện gần nhất theo một độ đo khoảng cách như Euclid, rồi gán nhãn theo lớp chiếm đa số trong k láng giềng đó. "FP-Growth" là thuật toán khai phá tập phổ biến và luật kết hợp, xây cây FP-tree để tìm các mặt hàng hay được mua cùng nhau mà không cần nhãn lớp. "Apriori" cũng thuộc khai phá luật kết hợp, sinh tập ứng viên theo từng kích thước và cắt tỉa dựa trên tính chất mọi tập con của một tập phổ biến đều phổ biến. "PCA" (Principal Component Analysis, phân tích thành phần chính) là kỹ thuật giảm chiều không giám sát, chiếu dữ liệu lên các hướng có phương sai lớn nhất, không dự đoán nhãn lớp.

Đáp án đúng: "Categories". Classification (phân lớp) là bài toán học có giám sát mà biến mục tiêu là nhãn rời rạc, ví dụ thư rác hay không, loại hoa nào, khách hàng có rời bỏ hay không; mô hình học từ dữ liệu có nhãn để gán một lớp cho mẫu mới. "Numeric values" là đầu ra của regression (hồi quy), bài toán dự đoán giá trị liên tục như giá nhà hay nhiệt độ. "Similarity scores" thuộc về các bài toán đo khoảng cách hoặc độ tương đồng, như phân cụm hay hệ gợi ý, không phải đầu ra của mô hình phân lớp. "Probabilities only" sai vì chữ only: nhiều bộ phân lớp như hồi quy logistic quả có tính xác suất thuộc từng lớp, nhưng xác suất chỉ là bước trung gian, sau khi so với ngưỡng mô hình vẫn đưa ra nhãn lớp.

Đáp án đúng: "It hides poor minority class performance". Với dữ liệu mất cân bằng lớp, accuracy (độ chính xác tổng) bị lớp đa số chi phối: nếu 95 trong 100 mẫu là âm tính, một mô hình đoán mọi mẫu đều âm tính vẫn đạt accuracy 95% dù không nhận ra được mẫu dương tính nào, recall của lớp thiểu số bằng 0. Vì thế cần xem thêm precision, recall, F1 hay ma trận nhầm lẫn. "It increases bias" sai vì accuracy chỉ là thước đo, nó không làm thay đổi mô hình hay độ chệch của mô hình. "It depends on labels" đúng là accuracy cần nhãn thật, nhưng mọi thước đo của học có giám sát đều thế nên đó không phải hạn chế riêng với dữ liệu mất cân bằng. "It works only with numeric targets" sai vì accuracy được dùng chính cho mục tiêu dạng nhãn phân lớp, còn mục tiêu số thì dùng sai số như MSE.

Đáp án đúng: "Model overfits". Trong kNN, k là số láng giềng được dùng để bỏ phiếu; khi k quá nhỏ, ví dụ k bằng 1, nhãn của mẫu mới phụ thuộc hoàn toàn vào một điểm gần nhất, nên mô hình bám sát từng điểm huấn luyện kể cả nhiễu và ngoại lệ, đường biên quyết định gồ ghề, đúng gần tuyệt đối trên tập huấn luyện nhưng kém trên dữ liệu mới, đó là quá khớp (overfitting). "Model underfits" là điều xảy ra khi k quá lớn: bỏ phiếu trên quá nhiều điểm làm biên quá trơn, lớp đông áp đảo, mô hình bỏ qua cấu trúc cục bộ. "Clusters become clear" sai vì kNN là thuật toán phân loại có giám sát, không tạo cụm, và k nhỏ còn làm kết quả nhiễu hơn chứ không rõ hơn. "No classification is made" sai vì với k nhỏ nhất bằng 1 thuật toán vẫn luôn gán được nhãn cho mẫu mới.