If your training loss increases with number of epochs, which of the following could be a possible issue with the learning process?

Đáp án đúng: "Step size is too large". Khi huấn luyện bằng gradient descent, bước học (step size, learning rate) quá lớn làm mỗi lần cập nhật nhảy vượt qua điểm cực tiểu sang sườn bên kia, có khi cao hơn chỗ cũ; lặp lại nhiều lần thì tham số dao động ngày càng xa và loss trên chính tập huấn luyện tăng dần theo số epoch, thậm chí phân kỳ. "Regularization is too low and model is overfitting" sai vì quá khớp biểu hiện là loss huấn luyện vẫn giảm đều trong khi loss kiểm định tăng, không phải loss huấn luyện tăng. "Regularization is too high and model is underfitting" khiến loss huấn luyện dừng ở mức cao, giảm chậm rồi đi ngang, nhưng không tăng lên theo epoch. "Step size is too small" làm loss giảm rất chậm, cần nhiều epoch mới hội tụ, nhưng mỗi bước vẫn đi xuống dốc nên loss không tăng.