Which of the following is a common activation function used in the output layer for multiclass classification?

Đáp án đúng: "Softmax". Với bài toán phân loại nhiều lớp (multiclass classification), tầng đầu ra cần trả về một phân phối xác suất trên K lớp; Softmax biến vector điểm thô z thành exp(z_i) chia cho tổng exp(z_j), nên mọi đầu ra nằm trong khoảng 0 đến 1 và cộng lại bằng 1, rồi kết hợp với hàm mất mát categorical cross-entropy. "Sigmoid" cho mỗi nơ-ron một xác suất độc lập trong khoảng 0 đến 1, hợp với phân loại nhị phân hoặc đa nhãn (multi-label), nhưng các đầu ra không bị ràng buộc tổng bằng 1 nên không phải lựa chọn chuẩn cho nhiều lớp loại trừ nhau. "ReLU (Rectified Linear Unit)" trả về max(0, x), không bị chặn trên và không chuẩn hoá thành xác suất, nên dùng ở tầng ẩn chứ không dùng ở đầu ra phân loại. "Tanh" cho giá trị trong khoảng -1 đến 1, chủ yếu dùng ở tầng ẩn hoặc trong cổng của LSTM, không diễn giải được thành xác suất lớp.