How is the softmax activation function typically used in next-word prediction models?

Đáp án đúng: "To normalize the output probabilities over multiple words". Trong mô hình dự đoán từ tiếp theo, lớp Dense cuối có số nơ-ron bằng kích thước từ vựng và dùng activation softmax: hàm này lấy mũ từng logit rồi chia cho tổng, biến vector điểm thành phân phối xác suất (mọi giá trị dương, tổng bằng 1) trên toàn bộ các từ, từ đó chọn từ có xác suất cao nhất hoặc lấy mẫu. "To apply non-linearity to the input sequences" sai vì tính phi tuyến ở các lớp ẩn do ReLU, tanh hay các cổng của LSTM đảm nhận, còn softmax đặt ở đầu ra chứ không tác động lên chuỗi đầu vào. "To control the learning rate during training" sai vì learning rate (tốc độ học) là siêu tham số của optimizer như Adam, không liên quan tới hàm kích hoạt. "To calculate the loss function" sai vì hàm mất mát như categorical_crossentropy được tính riêng, nó chỉ nhận xác suất do softmax tạo ra làm đầu vào chứ softmax không phải là hàm mất mát.