What is the purpose of an activation function in a neural network?

Đáp án đúng: "All of the above". Mục đích cốt lõi của hàm kích hoạt là "It introduces non-linearity to the network": nếu không có nó, xếp chồng bao nhiêu tầng tuyến tính cũng chỉ tương đương một phép biến đổi tuyến tính, mạng không học được quan hệ phức tạp. Nhưng hai ý kia cũng đúng nên tổng hợp là lựa chọn đầy đủ nhất. "It determines the output of a neuron" đúng vì nơ-ron tính tổng có trọng số cộng bias rồi đưa qua hàm kích hoạt, kết quả chính là đầu ra của nơ-ron truyền sang tầng sau. "It helps in backpropagation" đúng vì khi lan truyền ngược, quy tắc dây chuyền nhân gradient với đạo hàm của hàm kích hoạt ở từng tầng; chọn hàm có đạo hàm thuận lợi như ReLU giúp giảm hiện tượng gradient biến mất so với sigmoid. Vì vậy chọn riêng một ý là chưa đủ, dù ý về tính phi tuyến là quan trọng nhất.