If I wanted my outputs to be in the form of probabilities which activation function should I use in the final layer?

Đáp án đúng: "SoftMax". Hàm SoftMax biến vector điểm số thô (logits) thành phân phối xác suất bằng cách lấy mũ từng phần tử rồi chia cho tổng các mũ, nên mỗi đầu ra nằm trong khoảng 0 tới 1 và tổng đúng bằng 1; vì vậy nó là lựa chọn chuẩn cho lớp cuối của bài toán phân loại nhiều lớp. "Tanh" cho giá trị từ −1 tới 1, có thể âm nên không phải xác suất. "ReLU" cho giá trị từ 0 tới vô cùng, không bị chặn trên và không chuẩn hoá tổng. "Binary step function" chỉ cho ra 0 hoặc 1 cứng, không biểu diễn được mức độ chắc chắn và không có đạo hàm hữu ích để huấn luyện.