Which activation has range [0, ∞)?

Đáp án đúng: "ReLU". Hàm kích hoạt ReLU (Rectified Linear Unit) tính f(x) = max(0, x): mọi đầu vào âm bị chặn về 0, còn đầu vào dương giữ nguyên nên không có trần trên, vì vậy miền giá trị là [0, ∞). Chính việc không bão hoà ở phía dương giúp ReLU giảm hiện tượng vanishing gradient (gradient biến mất) và là lựa chọn mặc định cho lớp ẩn trong Keras (activation='relu'). "Tanh" sai vì tanh nén đầu vào về khoảng (−1, 1), đối xứng quanh 0. "Sigmoid" sai vì sigmoid 1/(1 + e^(−x)) cho giá trị trong (0, 1), thường dùng ở lớp ra của phân loại nhị phân để biểu diễn xác suất. "Softsign" sai vì softsign x/(1 + |x|) cũng bị chặn trong (−1, 1), giống tanh nhưng tiến về tiệm cận chậm hơn.