AIL304m - Phần 5: Khía cạnh thực hành, thuật toán tối ưu và siêu tham số

Buổi 43–47 và 50–53, gắn CLO3; mục 3.1–3.3 ứng với ba module của khoá học trực tuyến Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization (DeepLearning.AI). Buổi 43–44 (mục 3.1): tập huấn luyện, tập dev và tập kiểm thử, bias và variance, regularization, dropout, chuẩn hoá đầu vào, vanishing và exploding gradient, khởi tạo trọng số, gradient checking. Buổi 45–47 (mục 3.2): mini-batch gradient descent, trung bình có trọng số mũ và hiệu chỉnh độ lệch, Momentum, RMSprop, Adam, giảm dần learning rate, cực trị địa phương. Buổi 50–53 (mục 3.3): tinh chỉnh siêu tham số, Batch Normalization và cách dùng khi suy luận, softmax regression, framework học sâu, TensorFlow.