Which activation function is commonly used in the hidden layers of a deep neural network?

Đáp án đúng: "ReLU (Rectified Linear Unit)". ReLU tính max(0, x), đạo hàm bằng 1 với đầu vào dương nên gradient không bị co nhỏ dần khi lan truyền ngược qua nhiều lớp, lại rẻ để tính, vì vậy là mặc định cho lớp ẩn của mạng sâu. "Sigmoid" nén đầu ra vào 0 tới 1 và bão hoà ở hai đầu, gây triệt tiêu gradient (vanishing gradient) khi mạng sâu, nay chủ yếu dùng ở lớp ra nhị phân hoặc trong cổng LSTM. "Tanh" đối xứng quanh 0 tốt hơn sigmoid nhưng vẫn bão hoà, thường thấy trong RNN hơn là mạng sâu truyền thẳng. "Softmax" chuyển điểm số thành phân phối xác suất, dành cho lớp ra phân loại nhiều lớp chứ không cho lớp ẩn.