Which activation function is commonly used in the recurrent layers of an RNN?

Đáp án đúng: "Tanh (Hyperbolic Tangent)". Ở lớp hồi quy của RNN, trạng thái ẩn được tính lặp qua từng bước thời gian, nên hàm kích hoạt cần chặn giá trị trong khoảng từ −1 đến 1 và đối xứng quanh 0 để trạng thái không phình to sau nhiều bước; tanh đáp ứng điều đó, và các lớp SimpleRNN, LSTM, GRU trong Keras đều để kích hoạt mặc định là tanh. "ReLU (Rectified Linear Unit)" phổ biến ở lớp ẩn của mạng truyền thẳng và CNN, nhưng không bị chặn trên nên khi lặp trong vòng hồi quy dễ làm giá trị bùng nổ. "Sigmoid" có mặt trong RNN nhưng ở vai trò cổng (gate) của LSTM, GRU, cho ra hệ số từ 0 đến 1 để quyết định giữ hay quên thông tin, không phải kích hoạt chính của trạng thái ẩn. "Softmax" dùng ở lớp đầu ra để biến điểm số thành phân phối xác suất trên nhiều lớp, không dùng bên trong lớp hồi quy.