You’re training a model to classify whether or not a bridge is likely to collapse given several factors. You have a dataset of thousands of existing bridges and their attributes, where each bridge is labeled as having collapsed or not collapsed. Only a handful of bridges in the dataset are labeled as having collapsed–the rest are labeled as not collapsed. Given your goal of minimizing bridge collapse and the severe harm it can cause, which of the following metrics would be most useful for evaluating the model?

Đáp án đúng: "Recall". Recall (độ nhạy) = TP / (TP + FN), tức trong số cây cầu thật sự sập, mô hình bắt được bao nhiêu; ở bài toán này sai lầm đắt nhất là false negative, mô hình bảo cầu an toàn trong khi nó sập, nên cần tối đa recall để bỏ sót ít nhất. "Accuracy" gây hiểu lầm với dữ liệu mất cân bằng: chỉ vài cây cầu sập nên một mô hình luôn đoán không sập vẫn đạt độ chính xác gần 100% mà không phát hiện được cây cầu nguy hiểm nào. "Confusion matrix" là bảng đếm TP, FP, TN, FN dùng để tính các chỉ số, hữu ích để xem lỗi nhưng không phải một chỉ số đơn để tối ưu theo mục tiêu đã nêu. "Precision" = TP / (TP + FP) đo trong số cầu bị cảnh báo có bao nhiêu sập thật, tức hạn chế báo động nhầm; báo nhầm chỉ tốn chi phí kiểm tra, nhẹ hơn nhiều so với bỏ sót một cây cầu sắp sập.