Which algorithm updates the policy by directly optimizing the expected cumulative reward in reinforcement learning?

Đáp án đúng: "Policy gradient". Phương pháp policy gradient tham số hoá trực tiếp chính sách bằng một mạng có trọng số theta và cập nhật theta theo hướng gradient của phần thưởng tích luỹ kỳ vọng J(theta); thuật toán REINFORCE ước lượng gradient này bằng log xác suất hành động nhân với lợi tức thu được. "Q-learning" là phương pháp dựa trên giá trị: nó học hàm Q(s, a) bằng phương trình Bellman, còn chính sách chỉ suy ra gián tiếp bằng cách chọn hành động có Q lớn nhất. "Temporal Difference (TD) learning" cũng ước lượng hàm giá trị, cập nhật theo sai số TD giữa ước lượng hiện tại và phần thưởng cộng giá trị trạng thái kế tiếp, không tối ưu chính sách trực tiếp. "Monte Carlo methods" ước lượng giá trị bằng trung bình lợi tức của các tập trọn vẹn; REINFORCE có dùng lợi tức kiểu Monte Carlo nhưng bản thân Monte Carlo là kỹ thuật ước lượng, không phải thuật toán tối ưu chính sách theo gradient.