REL301mChưa đoKỳ 8Chuyên ngành Cập nhật 16 ngày trước

REL301m - Học tăng cường

REL301m - Học tăng cường (Reinforcement Learning) là môn 3 tín chỉ bậc cử nhân của Đại học FPT. Đây là nhánh học máy khác hẳn hai nhánh còn lại: không có tập dữ liệu gắn nhãn sẵn, chỉ có một tác tử hành động trong môi trường và nhận về phần thưởng hoặc hình phạt. Vì vậy nó là nền lý thuyết trực tiếp của robot tự hành — thứ phải tự rút kinh nghiệm từ hậu quả hành động của chính mình. Môn mở bằng bài toán cỗ máy nhiều cần gạt, tình huống nhỏ nhất chứa đủ mâu thuẫn cốt lõi của cả ngành: ước lượng giá trị hành động, và đánh đổi giữa khai thác điều đã biết với thăm dò điều chưa biết. Từ đó môn dựng khung hình thức là quá trình quyết định Markov, với mục tiêu của học tăng cường, các bài toán kéo dài không kết thúc, chính sách và hàm giá trị, phương trình Bellman, cùng khái niệm tối ưu. Chặng quy hoạch động gồm đánh giá chính sách, lặp chính sách và lặp chính sách tổng quát. Chặng học từ kinh nghiệm là trọng tâm thực hành: các phương pháp Monte-Carlo cho dự đoán và điều khiển cùng cách thăm dò đi kèm, học ngoài chính sách, rồi học theo sai khác thời gian với ưu thế của nó, các thuật toán điều khiển gồm Q-learning và Expected Sarsa. Chặng cuối đưa mô hình môi trường vào bài toán, mở sang hoạch định và kiến trúc kết hợp học với hoạch định. Lợi ích: người học phát biểu được một bài toán điều khiển thành dạng giải được, và nhận ra khi nào học tăng cường là lựa chọn sai. Môn cũng là chỗ người học đối diện với một thực tế của ngành: học tăng cường tốn rất nhiều lượt thử, nên phần lớn công việc thật nằm ở chỗ dựng môi trường mô phỏng đủ giống thật để tác tử luyện trong đó trước khi chạm vào thiết bị.

Chủ đề của môn

Môn này chưa chia chủ đềToàn bộ 0 câu đang nằm thẳng dưới môn. Phiên học vẫn chạy được — chọn số câu và mức độ ở khối phía trên.