DAT301M - Phần 2: Tăng cường ảnh, chống quá khớp và học chuyển giao

Quá khớp là khi độ chính xác trên tập huấn luyện tiếp tục tăng còn độ chính xác trên tập kiểm định đứng yên hoặc giảm, dấu hiệu mô hình đang học thuộc thay vì khái quát. Một mạng lớn như Inception, đã huấn luyện trên hàng triệu ảnh, có thể được dùng lại: giữ nguyên các tham số đã học ở những lớp đầu, lấy đầu ra của một lớp trung gian, rồi thêm lớp Dropout để ngẫu nhiên bỏ bớt nơ-ron trong lúc huấn luyện. Tăng cường ảnh xoay, dịch, lật, phóng to ảnh ngay khi nạp dữ liệu, làm tập huấn luyện đa dạng hơn mà không cần thêm ảnh mới. Bài toán nhiều lớp đổi lớp ra sang softmax với số nơ-ron bằng số lớp và hàm mất mát categorical crossentropy, thay cho một nơ-ron sigmoid của bài toán hai lớp. Đóng băng các lớp đã học là ý tưởng cốt lõi của học chuyển giao. Phép tích chập mà các kỹ thuật này dựa vào được trình bày ở Phần 1.