AIE301m - Phần 9: Học tăng cường dựa trên mạng nơ-ron

Đáp án đúng: "Deep Q-Network (DQN)". DQN thay bảng Q bằng một mạng nơ-ron làm hàm xấp xỉ (function approximator) cho hàm giá trị Q(s, a), nhờ đó xử lý được không gian trạng thái rất lớn như ảnh màn hình hay chuỗi giá, kèm các kỹ thuật bộ nhớ phát lại (experience replay) và mạng mục tiêu để ổn định huấn luyện. "Q-learning" ở dạng gốc lưu giá trị Q trong một bảng tra theo từng cặp trạng thái và hành động, không cần mạng nơ-ron. "Policy gradient" là họ thuật toán tối ưu trực tiếp chính sách; nó có thể dùng mạng nơ-ron nhưng bản thân khái niệm không gắn với hàm xấp xỉ bằng mạng như tên gọi của DQN. "Monte Carlo methods" ước lượng giá trị bằng trung bình phần thưởng của các tập (episode) hoàn chỉnh, thường ở dạng bảng.

Đáp án đúng: "To handle sequential data". Mạng nơ-ron hồi quy (recurrent neural network, RNN) có trạng thái ẩn được truyền từ bước thời gian này sang bước kế tiếp, nên đầu ra tại mỗi bước phụ thuộc cả đầu vào hiện tại lẫn những gì mạng đã thấy trước đó; cơ chế này hợp với dữ liệu có thứ tự như chuỗi giá, văn bản hay âm thanh, và các biến thể LSTM, GRU được dùng nhiều để dự báo chuỗi thời gian tài chính. "To classify images" là thế mạnh của mạng tích chập CNN vốn khai thác cấu trúc không gian của điểm ảnh. "To perform dimensionality reduction" là việc của PCA hay autoencoder, không phải mục đích thiết kế của RNN. "To generate synthetic data" là việc của mô hình sinh như GAN hay VAE; RNN có thể sinh chuỗi nhưng đó là ứng dụng phụ, không phải mục đích cốt lõi.

Đáp án đúng: "All of the above". Policy gradient là họ thuật toán học tăng cường tối ưu trực tiếp chính sách bằng gradient của phần thưởng kỳ vọng, và một hệ policy gradient hoàn chỉnh gồm đủ các thành phần được nêu. "Policy gradients - Network" là mạng chính sách nhận trạng thái và trả về xác suất của từng hành động. "Policy gradients - Loss" là hàm mất mát, thường là âm của log xác suất hành động đã chọn nhân với lợi tức (return) chiết khấu, để giảm mất mát tương đương tăng xác suất hành động mang lại phần thưởng cao. "Policy gradients - Memory" là bộ nhớ lưu trạng thái, hành động và phần thưởng của cả một tập (episode) để tính lợi tức sau khi tập kết thúc. "Policy gradients - Training" là vòng huấn luyện: chạy tập, tính lợi tức chiết khấu, tính mất mát rồi cập nhật trọng số mạng. Thiếu bất kỳ thành phần nào hệ cũng không vận hành, nên chọn riêng một thành phần là không đầy đủ.

Đáp án đúng: "Policy gradient". Phương pháp gradient chính sách tham số hoá trực tiếp chính sách bằng một mạng chính sách (policy network) xuất ra xác suất của từng hành động khi biết trạng thái, rồi cập nhật tham số theo hướng gradient của phần thưởng kỳ vọng, ví dụ REINFORCE hay các biến thể actor-critic. "Q-learning" là phương pháp dựa trên giá trị: học hàm Q của cặp trạng thái và hành động, chính sách chỉ được suy ra gián tiếp bằng cách chọn hành động có Q lớn nhất. "Monte Carlo methods" là cách ước lượng giá trị bằng trung bình lợi tức của các tập trọn vẹn; nó có thể được dùng trong gradient chính sách nhưng bản thân không phải là mạng chính sách. "Temporal Difference (TD) learning" cập nhật ước lượng giá trị bằng sai số giữa hai bước liền nhau, cũng thuộc họ dựa trên giá trị chứ không xấp xỉ trực tiếp chính sách.

Đáp án đúng: "To control the flow of information from the current input". Trong LSTM, cổng vào (input gate) là một lớp sigmoid nhận đầu vào hiện tại và trạng thái ẩn trước đó, cho ra giá trị từ 0 đến 1 để quyết định bao nhiêu thông tin mới, tức vector ứng viên tạo bởi tanh, được ghi vào trạng thái ô (cell state); cổng quên quyết định xoá gì, cổng vào quyết định thêm gì. "To adjust the learning rate during training" sai vì tốc độ học do bộ tối ưu như Adam hay lịch tốc độ học điều khiển, không phải thành phần bên trong ô LSTM. "To introduce non-linearity to the network" sai vì tính phi tuyến đến từ các hàm kích hoạt; cổng vào có dùng sigmoid nhưng vai trò của nó là điều tiết luồng thông tin, không phải mục đích đưa phi tuyến vào mạng. "None of the above" sai vì đã có một mô tả đúng chức năng của cổng vào.

Đáp án đúng: "Policy gradient". Phương pháp policy gradient tham số hoá trực tiếp chính sách bằng một mạng có trọng số theta và cập nhật theta theo hướng gradient của phần thưởng tích luỹ kỳ vọng J(theta); thuật toán REINFORCE ước lượng gradient này bằng log xác suất hành động nhân với lợi tức thu được. "Q-learning" là phương pháp dựa trên giá trị: nó học hàm Q(s, a) bằng phương trình Bellman, còn chính sách chỉ suy ra gián tiếp bằng cách chọn hành động có Q lớn nhất. "Temporal Difference (TD) learning" cũng ước lượng hàm giá trị, cập nhật theo sai số TD giữa ước lượng hiện tại và phần thưởng cộng giá trị trạng thái kế tiếp, không tối ưu chính sách trực tiếp. "Monte Carlo methods" ước lượng giá trị bằng trung bình lợi tức của các tập trọn vẹn; REINFORCE có dùng lợi tức kiểu Monte Carlo nhưng bản thân Monte Carlo là kỹ thuật ước lượng, không phải thuật toán tối ưu chính sách theo gradient.

Đáp án đúng: "To control the flow of information to the current output". Mỗi ô LSTM có ba cổng: cổng quên quyết định bỏ gì khỏi trạng thái ô, cổng vào quyết định thêm gì, còn cổng ra (output gate) dùng hàm sigmoid để chọn phần nào của trạng thái ô, sau khi qua tanh, được đưa ra làm trạng thái ẩn tại bước hiện tại. "To adjust the learning rate during training" sai vì tốc độ học do bộ tối ưu điều khiển, không phải cổng trong mạng. "To introduce non-linearity to the network" sai vì tính phi tuyến đến từ hàm kích hoạt; cổng ra có dùng sigmoid nhưng vai trò của nó là điều tiết thông tin. "None of the above" sai vì đã có một mô tả đúng chức năng cổng ra.

Đáp án đúng: "Text generation". Mạng nơ-ron hồi quy (Recurrent Neural Network) xử lý dữ liệu tuần tự từng bước, giữ một trạng thái ẩn mang thông tin của các bước trước sang bước sau, nên hợp với dữ liệu có thứ tự như văn bản, giọng nói hay chuỗi thời gian giá. Sinh văn bản là ứng dụng tiêu biểu: mô hình đọc chuỗi ký tự hoặc từ đã có rồi dự đoán phần tử kế tiếp, lặp lại để tạo câu. "Image classification" là thế mạnh của mạng tích chập (CNN), vốn khai thác cấu trúc không gian của điểm ảnh chứ không phải thứ tự thời gian. "Reinforcement learning" là một mô thức học dựa trên phần thưởng, không phải mục đích của một kiến trúc mạng; RNN có thể làm bộ phận trong tác tử học tăng cường nhưng đó không phải vai trò chính. "Object detection" cũng thuộc thị giác máy tính, dùng các mô hình dựa trên CNN như YOLO hay Faster R-CNN.

Đáp án đúng: "Tanh (Hyperbolic Tangent)". Ở lớp hồi quy của RNN, trạng thái ẩn được tính lặp qua từng bước thời gian, nên hàm kích hoạt cần chặn giá trị trong khoảng từ −1 đến 1 và đối xứng quanh 0 để trạng thái không phình to sau nhiều bước; tanh đáp ứng điều đó, và các lớp SimpleRNN, LSTM, GRU trong Keras đều để kích hoạt mặc định là tanh. "ReLU (Rectified Linear Unit)" phổ biến ở lớp ẩn của mạng truyền thẳng và CNN, nhưng không bị chặn trên nên khi lặp trong vòng hồi quy dễ làm giá trị bùng nổ. "Sigmoid" có mặt trong RNN nhưng ở vai trò cổng (gate) của LSTM, GRU, cho ra hệ số từ 0 đến 1 để quyết định giữ hay quên thông tin, không phải kích hoạt chính của trạng thái ẩn. "Softmax" dùng ở lớp đầu ra để biến điểm số thành phân phối xác suất trên nhiều lớp, không dùng bên trong lớp hồi quy.

Đáp án đúng: "3". Phát triển một chiến lược học tăng cường sâu được chia thành ba giai đoạn: phát triển (xây môi trường giao dịch, định nghĩa trạng thái, hành động, phần thưởng và huấn luyện agent), kiểm thử (đánh giá agent trên dữ liệu chưa thấy, backtest) và tối ưu (tinh chỉnh siêu tham số, phần thưởng, kiến trúc mạng). Cần nói thẳng rằng số bước phụ thuộc cách chia của từng tài liệu và không có con số chuẩn chung, nhưng ba giai đoạn phát triển, kiểm thử, tối ưu là cách chia gọn nhất bao trọn quy trình. "1" quá ít vì gộp mất khâu kiểm thử bắt buộc. "5" và "7" là cách tách nhỏ hơn các bước bên trong ba giai đoạn ấy, không phải cách chia được chọn ở đây.

Đáp án đúng: "To store long-term dependencies in the input sequence". Trạng thái ô (cell state) là đường truyền thông tin chạy dọc qua mọi bước thời gian của LSTM, chỉ bị thay đổi qua các phép nhân và cộng có kiểm soát: cổng quên xoá bớt, cổng vào thêm thông tin mới. Nhờ đường truyền gần như tuyến tính này, gradient ít bị biến mất và mạng ghi nhớ được phụ thuộc dài hạn, như một xu hướng giá kéo dài nhiều phiên. "To adjust the learning rate during training" sai vì tốc độ học là siêu tham số của bộ tối ưu, nằm ngoài kiến trúc ô LSTM. "To compute the gradients for backpropagation" sai vì gradient được tính bởi cơ chế lan truyền ngược theo thời gian (backpropagation through time), ví dụ qua GradientTape; trạng thái ô chỉ là một đại lượng mà gradient đi qua, không phải bộ tính gradient. "None of the above" sai vì đã có mô tả đúng vai trò của trạng thái ô.

Đáp án đúng: "Learning optimal strategies in complex and nonlinear financial markets". Học tăng cường sâu (deep reinforcement learning) kết hợp tác tử học từ phần thưởng với mạng nơ-ron sâu để xấp xỉ chính sách hay hàm giá trị, nên có thể học quyết định mua, bán, giữ trực tiếp từ dữ liệu thị trường nhiều chiều, phi tuyến, nơi quy tắc viết tay khó bao quát. Tác tử thử hành động, nhận lãi lỗ làm phần thưởng và dần tìm chiến lược tối ưu hoá lợi nhuận đã điều chỉnh rủi ro. "Reducing brokerage account registration time" là thủ tục hành chính của công ty môi giới, không phải bài toán ra quyết định tuần tự. "Standardizing exchange order execution" là việc của sàn giao dịch và quy định thị trường. "Managing financial compliance records" thuộc hệ thống quản lý tuân thủ và lưu trữ hồ sơ, không cần tác tử học chiến lược.

Đáp án đúng: "Using neural networks to approximate Q-values for trading actions". Q-learning cổ điển lưu giá trị Q(s, a), tức phần thưởng tích luỹ kỳ vọng khi chọn hành động a ở trạng thái s, trong một bảng; với trạng thái thị trường liên tục và nhiều chiều như giá, chỉ báo, vị thế đang nắm, bảng đó không thể liệt kê hết. Deep Q-Learning (DQN) thay bảng bằng một mạng nơ-ron nhận trạng thái và trả về giá trị Q cho từng hành động mua, bán, giữ, huấn luyện theo mục tiêu Bellman với bộ nhớ phát lại trải nghiệm (experience replay) và mạng mục tiêu (target network) để ổn định. "Calculating exchange transaction costs using deep models" sai vì chi phí giao dịch tính theo biểu phí, không phải mục đích của DQN. "Predicting brokerage account tax obligations" sai vì nghĩa vụ thuế là nghiệp vụ kế toán, không liên quan tới học tăng cường. "Simulating financial market regulations" sai vì DQN học chính sách hành động, không mô phỏng hệ thống quy định pháp lý.