AIE301m - Phần 3: Mạng nơ-ron, học sâu và khả năng khái quát

Khả năng khái quát hoá là thước đo thật của một mô hình: sai số trên dữ liệu chưa thấy, không phải trên dữ liệu đã học. Mô hình quá đơn giản thì thiếu khớp, quá phức tạp thì quá khớp, học thuộc cả nhiễu; với dữ liệu giá vốn nhiều nhiễu, nguy cơ thứ hai lớn hơn. Cách giữ cân bằng gồm tách tập huấn luyện, kiểm định và kiểm tra, chính quy hoá phạt các tham số có độ lớn quá mức, dừng sớm khi sai số kiểm định bắt đầu tăng, và dropout tắt ngẫu nhiên một phần nơ-ron khi huấn luyện. Học sâu xếp nhiều tầng nơ-ron với hàm kích hoạt phi tuyến như ReLU hay sigmoid để tự học đặc trưng, đổi lại cần nhiều dữ liệu và tính toán hơn hồi quy. Gradient descent cập nhật tham số theo hướng giảm hàm mất mát, với tốc độ học là độ dài mỗi bước. Cách dựng các tầng này bằng Keras nằm ở Phần 5.