What is the function of ReLU?

Đáp án đúng: "It only returns x if x is greater than zero". ReLU (Rectified Linear Unit, hàm kích hoạt tuyến tính chỉnh lưu) được định nghĩa là max(0, x): giữ nguyên x khi x dương và trả về 0 với mọi giá trị còn lại, nhờ vậy tạo tính phi tuyến cho mạng, tính rất nhanh và giảm hiện tượng gradient biến mất so với sigmoid; trong Keras dùng bằng activation='relu'. "For a value x, it returns 1/x" mô tả phép nghịch đảo, không liên quan đến ReLU và còn không xác định khi x bằng 0. "It only returns x if x is less than zero" đảo ngược ngưỡng, ReLU giữ phần dương và chặn phần âm về 0 chứ không làm điều ngược lại. "It returns the negative of x" là phép đổi dấu, một hàm tuyến tính nên không tạo được tính phi tuyến như hàm kích hoạt cần có.