AIE301m - Phần 8: Học tăng cường và quá trình quyết định Markov

Đáp án đúng: "Feedback-based learning technique". Học tăng cường (reinforcement learning) là kỹ thuật học dựa trên phản hồi: tác nhân (agent) thực hiện hành động trong môi trường, nhận phần thưởng (reward) hoặc hình phạt, rồi điều chỉnh chính sách (policy) để tối đa hoá tổng phần thưởng tích luỹ; chính tín hiệu phần thưởng là phản hồi dẫn dắt việc học, chẳng hạn lãi hay lỗ sau mỗi lệnh trong giao dịch. "Prediction-based learning technique" không khớp vì mục tiêu của tác nhân không phải dự đoán đúng một nhãn như học có giám sát, mà là chọn hành động tốt nhất theo từng trạng thái. "History results-based learning technique" không khớp vì tác nhân không học từ một bảng kết quả lịch sử cho sẵn mà tự sinh trải nghiệm bằng cách tương tác với môi trường. "Prediction-based learning model" sai ở hai điểm: vẫn đặt trọng tâm vào dự đoán, và học tăng cường là một khuôn khổ/kỹ thuật học chứ không phải một mô hình cụ thể.

Đáp án đúng: "Driverless cars". Học tăng cường (reinforcement learning) là cách một tác tử (agent) học chính sách hành động qua thử và sai trong môi trường, nhận phần thưởng hoặc hình phạt sau mỗi hành động; xe tự lái phải liên tục quyết định tăng tốc, phanh, đổi làn dựa trên trạng thái đường và nhận phản hồi về an toàn, nên là ví dụ điển hình. "House pricing prediction" là bài toán hồi quy có giám sát, học từ cặp đặc trưng và giá đã biết chứ không có chuỗi hành động hay phần thưởng. "Market basket analysis" là khai phá luật kết hợp không giám sát, tìm các mặt hàng hay được mua cùng nhau. "Text classification" là phân loại có giám sát, gán nhãn cho văn bản từ dữ liệu đã gán nhãn sẵn, không có tương tác với môi trường.

Đáp án đúng: "A state is a situation returned by the environment after an agent takes an action.". Trong học tăng cường (reinforcement learning), tác tử (agent) quan sát trạng thái, chọn hành động, rồi môi trường trả về phần thưởng cùng trạng thái mới; trạng thái (state) vì vậy là mô tả tình huống hiện tại do môi trường cung cấp sau mỗi hành động, ví dụ trong bài toán giao dịch là giá, vị thế đang giữ và số dư tài khoản. "State is a situation in which an agent is present." nắm đúng trực giác rằng trạng thái là một tình huống, nhưng bỏ mất vòng tương tác cốt lõi: trạng thái do môi trường trả về sau hành động của tác tử, nên đây là định nghĩa kém đầy đủ. "A state is the simple value of reinforcement learning." sai vì giá trị (value) là khái niệm khác: hàm giá trị ước lượng tổng phần thưởng chiết khấu kỳ vọng khi xuất phát từ một trạng thái, chứ bản thân trạng thái không phải là một giá trị.

Đáp án đúng: "Actions are the moves that the agent takes inside the environment.". Trong học tăng cường, hành động (action) là lựa chọn mà tác nhân thực hiện ở mỗi trạng thái, lấy từ không gian hành động cho phép; hành động làm môi trường chuyển sang trạng thái mới và trả về phần thưởng. Trong giao dịch, hành động thường là mua, bán hoặc giữ nguyên vị thế. "Actions are the function that the environment takes." sai vì hành động do tác nhân chọn, còn môi trường chỉ phản ứng lại qua hàm chuyển trạng thái và hàm phần thưởng; hàm ánh xạ trạng thái sang hành động là chính sách của tác nhân chứ không thuộc về môi trường. "Actions are the feedback that an agent provides." sai vì phản hồi trong học tăng cường là phần thưởng, và phần thưởng do môi trường trả cho tác nhân chứ không phải tác nhân cung cấp.

Đáp án đúng: "An agent is an entity that explores the environment.". Trong học tăng cường, tác tử (agent) là thực thể quan sát trạng thái của môi trường, chọn hành động, nhận phần thưởng và cập nhật chính sách để tối đa tổng phần thưởng; nó vừa khám phá (exploration) hành động mới vừa khai thác (exploitation) điều đã biết. Trong giao dịch, agent là bot quyết định mua, bán hay giữ. "Agent is the situation in which rewards are being exchanged" mô tả gần với môi trường hoặc trạng thái, tức nơi agent tương tác, chứ không phải agent. "Agent is the simple value in reinforcement learning." sai vì giá trị (value) là ước lượng tổng phần thưởng kỳ vọng, chỉ là thứ agent học được, không phải bản thân agent.

Đáp án đúng: "Q-learning". Q-learning là thuật toán học tăng cường không cần mô hình môi trường (model-free), học hàm giá trị hành động Q(s,a) bằng cập nhật theo phương trình Bellman: Q mới bằng Q cũ cộng tốc độ học nhân với sai số giữa phần thưởng cộng giá trị lớn nhất chiết khấu của trạng thái kế tiếp và Q cũ; nhiều phương pháp hiện đại như Deep Q-Network (DQN) và các biến thể đều xây trên ý tưởng này, nên nó được coi là nền tảng. "Deep Learning" là kỹ thuật xấp xỉ hàm bằng mạng nhiều tầng, có thể kết hợp với học tăng cường nhưng bản thân không phải thuật toán học tăng cường. "K-means clustering" là thuật toán phân cụm không giám sát, không có tác tử, hành động hay phần thưởng. "Random Forest" là tập hợp cây quyết định cho học có giám sát, cũng không giải bài toán ra quyết định tuần tự.

Đáp án đúng: "None". Học tăng cường không dựa trên một tập dữ liệu chuẩn bị trước: tác nhân tự sinh dữ liệu bằng cách tương tác với môi trường, quan sát trạng thái, chọn hành động và nhận phần thưởng, rồi học từ chính chuỗi trải nghiệm đó. Cần nói thẳng rằng nhiều người coi học tăng cường gần với "Unlabelled data", vì phần thưởng không phải nhãn đúng sai cho từng mẫu; tuy vậy nói chính xác hơn là nó không dùng loại dữ liệu nào trong hai kiểu cho sẵn, nên đáp án đã nêu vẫn đứng vững. "Labeled data" thuộc học có giám sát, nơi mỗi mẫu đi kèm câu trả lời đúng; học tăng cường không có ai chỉ ra hành động đúng, chỉ có tín hiệu phần thưởng thường đến trễ. "Unlabelled data" là đầu vào của học không giám sát như phân cụm, nơi mô hình tìm cấu trúc trong một tập dữ liệu tĩnh. "Both" sai vì học tăng cường không dựa trên tập dữ liệu nào, có nhãn hay không có nhãn.

Đáp án đúng: "All of the above". Lặp chính sách (policy iteration) xen kẽ hai bước: đánh giá chính sách, tính giá trị của từng trạng thái bằng phương trình Bellman, rồi cải thiện chính sách bằng cách chọn hành động tốt nhất theo giá trị vừa tính, lặp tới khi chính sách không đổi. "Weighting state prime" thuộc khái niệm này vì mỗi bước đánh giá đều lấy giá trị của trạng thái kế tiếp s' nhân với xác suất chuyển và hệ số chiết khấu. "Value iteration complexity" thường được đặt cạnh khi phân tích, vì lặp giá trị là cách tiếp cận song song và hai phương pháp được so sánh về độ phức tạp mỗi vòng cùng số vòng hội tụ. "Modify policy iteration complexity" ứng với lặp chính sách cải biên (modified policy iteration), chỉ đánh giá chính sách vài bước thay vì giải trọn để giảm chi phí. Mỗi ý chỉ là một khía cạnh nên phương án tổng hợp là đầy đủ nhất.

Đáp án đúng: "It can adapt strategies based on sequential decision-making in markets". Học tăng cường mô hình hoá giao dịch như chuỗi quyết định nối tiếp: tại mỗi thời điểm tác tử quan sát trạng thái thị trường và vị thế, chọn hành động mua, bán hay giữ, nhận phần thưởng là lãi lỗ đã trừ chi phí, rồi điều chỉnh chính sách để tối đa hoá tổng phần thưởng chiết khấu về sau; vì hành động hôm nay ảnh hưởng tới vị thế và cơ hội ngày mai, khung này hợp với giao dịch. "It eliminates all trading risks" sai vì không phương pháp nào xoá được rủi ro thị trường; học tăng cường chỉ có thể đưa rủi ro vào hàm phần thưởng. "It guarantees constant trading profits" sai vì chính sách học từ dữ liệu quá khứ vẫn có thể thua lỗ khi thị trường đổi chế độ. "It replaces financial market regulations" sai vì quy định pháp lý là khuôn khổ bên ngoài mà mọi chiến lược phải tuân thủ.

Đáp án đúng: "3". Không gian hành động (action space) của agent gồm mọi lựa chọn nó có ở mỗi bước; ở đây là mua (buy), bán (sell) và giữ nguyên (hold), đếm được đúng ba hành động rời rạc, nên lớp ra của mạng như DQN sẽ có ba nút, mỗi nút là giá trị Q của một hành động. "2" bỏ sót một hành động, thường là hold, khiến agent buộc phải giao dịch mọi lúc. "4" và "5" thừa hành động không có trong đề; chúng chỉ đúng khi thêm lựa chọn như mua nửa vị thế hay bán khống, điều câu hỏi không nêu.

Đáp án đúng: "Exploitation". Trong học tăng cường, giá trị Q(s,a) ước lượng tổng phần thưởng kỳ vọng khi làm hành động a ở trạng thái s; chọn hành động có Q lớn nhất là khai thác (exploitation), tức tận dụng hiểu biết hiện có để lấy phần thưởng tốt nhất theo ước lượng, như nhánh tham lam trong chiến lược epsilon-greedy. "Exploration" là khám phá, cố ý thử hành động chưa chắc tốt, thường chọn ngẫu nhiên với xác suất epsilon, để thu thêm thông tin, ngược với việc chọn Q cao nhất. "Diversification" là đa dạng hoá danh mục trong tài chính để giảm rủi ro, không phải chiến lược chọn hành động của tác tử. "Arbitrage" là kinh doanh chênh lệch giá giữa các thị trường, một chiến lược giao dịch chứ không phải khái niệm cân bằng khám phá và khai thác.

Đáp án đúng: "8". Trong học tăng cường, phần thưởng (reward) là tín hiệu môi trường trả về sau hành động; ở đây phần thưởng được định nghĩa bằng lợi nhuận của giao dịch. Tác tử mua ở 100 đô la và bán ở 108 đô la nên lợi nhuận là 108 trừ 100 bằng 8, đó chính là phần thưởng nhận được, chưa tính phí hay chiết khấu vì đề không nêu. "6" sai vì chỉ ra được khi trừ thêm một khoản phí 2 đô la mà đề không cho. "7" sai vì cũng không khớp phép tính nào từ dữ kiện; lệch 1 so với lợi nhuận thật. "10" sai vì đó là lợi nhuận khi giá bán là 110, hoặc là nhầm lẫn với một con số tròn, trong khi giá bán thực tế là 108. Ghi nhớ: khi phần thưởng bằng lợi nhuận, chỉ cần lấy giá bán trừ giá mua, và lợi suất tương ứng là 8 chia 100 bằng 8%.

Đáp án đúng gồm ba ý: "Market volatility and noise", "Delayed reward signals" và "Limited historical training data". Dữ liệu giá có tỉ lệ tín hiệu trên nhiễu rất thấp và độ biến động thay đổi theo chế độ thị trường, nên tác tử dễ học theo nhiễu và chính sách kém ổn định. Phần thưởng bị trễ vì lãi lỗ của một quyết định vào lệnh chỉ lộ ra sau nhiều bước, gây khó cho việc gán công cho đúng hành động (credit assignment). Dữ liệu lịch sử có hạn vì thị trường chỉ có một quá khứ, không mô phỏng lại vô hạn như trò chơi, trong khi học tăng cường cần rất nhiều trải nghiệm, nên dễ quá khớp. "Brokerage tax reporting systems" là thủ tục kế toán thuế, không ảnh hưởng tới quá trình tác tử học. "Exchange listing procedures" là quy trình niêm yết của doanh nghiệp, nằm ngoài bài toán huấn luyện tác tử giao dịch.