Câu hỏi: AIE301m Ứng dụng trí tuệ nhân tạo cho giao dịch – Bộ ôn tập cuối kỳ số 1

Đáp án đúng: "Actions are the moves that the agent takes inside the environment.". Trong học tăng cường, hành động (action) là lựa chọn mà tác nhân thực hiện ở mỗi trạng thái, lấy từ không gian hành động cho phép; hành động làm môi trường chuyển sang trạng thái mới và trả về phần thưởng. Trong giao dịch, hành động thường là mua, bán hoặc giữ nguyên vị thế. "Actions are the function that the environment takes." sai vì hành động do tác nhân chọn, còn môi trường chỉ phản ứng lại qua hàm chuyển trạng thái và hàm phần thưởng; hàm ánh xạ trạng thái sang hành động là chính sách của tác nhân chứ không thuộc về môi trường. "Actions are the feedback that an agent provides." sai vì phản hồi trong học tăng cường là phần thưởng, và phần thưởng do môi trường trả cho tác nhân chứ không phải tác nhân cung cấp.

Đáp án đúng gồm hai ý: "You can lower your exposure to industry and sector risk" và "You exposure to market risk is lower". Một cặp long-short mua một cổ phiếu và bán khống một cổ phiếu khác, thường cùng ngành và có hệ số beta gần nhau. Khi cả thị trường hay cả ngành cùng lên hoặc cùng xuống, lãi ở chân này bù lỗ ở chân kia, nên phần biến động chung bị triệt tiêu phần lớn: rủi ro thị trường giảm, và vì hai mã cùng ngành nên rủi ro ngành, lĩnh vực cũng giảm. Lợi nhuận còn lại đến từ chênh lệch hiệu suất tương đối giữa hai cổ phiếu, đúng thứ người giao dịch cặp muốn đặt cược. "You double your expected return" sai vì lợi suất của cặp là hiệu số giữa hai chân chứ không phải tổng; phần lớn chuyển động chung bị loại bỏ nên lợi suất kỳ vọng thường nhỏ hơn so với giữ một cổ phiếu, đổi lại là rủi ro thấp hơn, và chỉ đòn bẩy mới phóng đại được nó.

Đáp án đúng: "Policy gradient". Phương pháp gradient chính sách tham số hoá trực tiếp chính sách bằng một mạng chính sách (policy network) xuất ra xác suất của từng hành động khi biết trạng thái, rồi cập nhật tham số theo hướng gradient của phần thưởng kỳ vọng, ví dụ REINFORCE hay các biến thể actor-critic. "Q-learning" là phương pháp dựa trên giá trị: học hàm Q của cặp trạng thái và hành động, chính sách chỉ được suy ra gián tiếp bằng cách chọn hành động có Q lớn nhất. "Monte Carlo methods" là cách ước lượng giá trị bằng trung bình lợi tức của các tập trọn vẹn; nó có thể được dùng trong gradient chính sách nhưng bản thân không phải là mạng chính sách. "Temporal Difference (TD) learning" cập nhật ước lượng giá trị bằng sai số giữa hai bước liền nhau, cũng thuộc họ dựa trên giá trị chứ không xấp xỉ trực tiếp chính sách.

Đáp án đúng: "To prevent overfitting". Dừng sớm (early stopping) theo dõi sai số trên tập kiểm định trong khi huấn luyện và dừng lại khi sai số này ngừng giảm hoặc bắt đầu tăng, tức thời điểm mô hình bắt đầu học thuộc nhiễu của tập huấn luyện; mục đích chính của nó là chống quá khớp (overfitting). "To save training time" chỉ là lợi ích phụ do dừng trước số epoch dự kiến, không phải lý do kỹ thuật tồn tại. "To improve the model's generalization ability" là hệ quả của việc chống quá khớp chứ không phải mục đích được nêu trực tiếp, nên câu hỏi chọn nguyên nhân gốc. "To avoid local optima in the loss function" sai vì dừng sớm không giúp thoát cực tiểu cục bộ; việc đó thuộc về tốc độ học, động lượng hay khởi tạo.

Đáp án đúng: "By eliminating the need to move data". BigQuery ML cho phép tạo, huấn luyện, đánh giá và dự đoán bằng câu lệnh SQL như CREATE MODEL và ML.PREDICT ngay bên trong kho dữ liệu BigQuery, nên không phải xuất dữ liệu sang một môi trường khác rồi viết đường ống chuyển đổi; bỏ được khâu di chuyển dữ liệu là nguồn tăng tốc phát triển chính. "By allowing users to write code in Python" sai vì điểm mạnh của BigQuery ML là dùng SQL, ngôn ngữ mà người phân tích dữ liệu đã quen, chứ không phải Python. "By providing pre-built models" chưa đúng trọng tâm: BigQuery ML cung cấp các loại mô hình dựng sẵn như hồi quy tuyến tính, k-means hay ARIMA_PLUS, nhưng người dùng vẫn huấn luyện chúng trên dữ liệu của mình, còn tốc độ đến từ việc không chuyển dữ liệu. "By using complex algorithms" sai vì độ phức tạp của thuật toán không làm phát triển nhanh hơn, thậm chí ngược lại.

Đáp án đúng: "All is correct". Học có giám sát (supervised learning) là nhánh học máy huấn luyện trên dữ liệu đã gán nhãn, mỗi mẫu có đầu vào kèm đầu ra đúng, để mô hình học ánh xạ từ đầu vào sang đầu ra rồi dự đoán cho dữ liệu mới; hồi quy và phân loại là hai dạng tiêu biểu. Cả ba phát biểu đều đúng nên phải chọn phương án gộp. "Supervised learning is a category of machine learning that uses labeled datasets to train algorithms to predict outcomes and recognize patterns." đúng vì nêu đúng nhánh học máy, dữ liệu gán nhãn và mục đích dự đoán. "Supervised learning algorithms are given labeled training to learn the relationship between the input and the outputs." đúng vì mô tả cơ chế học quan hệ giữa đầu vào và đầu ra. "Supervised machine learning algorithms make it easier for organizations to create complex models that can make accurate predictions." đúng ở góc độ ứng dụng: có nhãn rõ ràng giúp tổ chức xây và đánh giá được mô hình dự đoán chính xác. Chọn riêng một ý là bỏ sót hai góc nhìn kia.

Đáp án đúng: "A situation where a model predicts training data very well but fares much worse in additional (validation, testing) data". Quá khớp (overfitting) là khi mô hình học thuộc cả nhiễu và đặc điểm ngẫu nhiên của tập huấn luyện, nên sai số huấn luyện rất thấp nhưng sai số trên tập kiểm định hay kiểm tra cao hơn hẳn; đó là định nghĩa dựa trên khoảng cách giữa hai loại sai số. "A model with too many predictors" chỉ là một nguyên nhân thường gặp gây quá khớp, không phải bản thân hiện tượng, và mô hình nhiều biến vẫn có thể khái quát tốt nếu được chính quy hoá. "Predictions that very highly accurate" sai vì độ chính xác cao trên dữ liệu mới là điều tốt; quá khớp chỉ cho độ chính xác cao trên dữ liệu đã học. "A model with too many outcome categories" mô tả số lớp đầu ra của bài toán phân loại, không liên quan đến quá khớp.

Đáp án đúng: "The excess return of an investment relative to a benchmark". Alpha là phần lợi suất vượt trội của một khoản đầu tư so với chỉ số tham chiếu (benchmark) hoặc so với mức lợi suất mà rủi ro hệ thống của nó đáng được nhận theo mô hình CAPM; alpha dương nghĩa là chiến lược tạo giá trị ngoài phần bù rủi ro thị trường, đó là thứ các mô hình giao dịch định lượng săn tìm. "The risk associated with a specific investment" mô tả rủi ro, đo bằng độ biến động hoặc beta, không phải alpha. "The average return of all investments in a portfolio" chỉ là lợi suất trung bình, không so với chuẩn nào. "The total market return over a specific period" là lợi suất của thị trường, chính là mốc để tính alpha chứ không phải alpha.

Đáp án đúng: "To control the flow of information from the current input". Trong LSTM, cổng vào (input gate) là một lớp sigmoid nhận đầu vào hiện tại và trạng thái ẩn trước đó, cho ra giá trị từ 0 đến 1 để quyết định bao nhiêu thông tin mới, tức vector ứng viên tạo bởi tanh, được ghi vào trạng thái ô (cell state); cổng quên quyết định xoá gì, cổng vào quyết định thêm gì. "To adjust the learning rate during training" sai vì tốc độ học do bộ tối ưu như Adam hay lịch tốc độ học điều khiển, không phải thành phần bên trong ô LSTM. "To introduce non-linearity to the network" sai vì tính phi tuyến đến từ các hàm kích hoạt; cổng vào có dùng sigmoid nhưng vai trò của nó là điều tiết luồng thông tin, không phải mục đích đưa phi tuyến vào mạng. "None of the above" sai vì đã có một mô tả đúng chức năng của cổng vào.

Đáp án đúng: "The difference between the predicted and actual values.". Mô hình trung bình trượt MA(q) viết giá trị hiện tại bằng một hằng số cộng sai số hiện tại cộng tổ hợp tuyến tính của q sai số quá khứ. Sai số (error term) là các cú sốc nhiễu trắng, trong thực hành chính là phần chênh giữa giá trị thực tế quan sát được và giá trị mô hình dự báo một bước trước đó, nên mô hình MA dùng chính những lần dự báo hụt trong quá khứ để điều chỉnh dự báo hiện tại. "The average of past y values." sai vì mô hình MA dùng sai số quá khứ chứ không lấy trung bình các giá trị y quá khứ; lấy trung bình y là kỹ thuật làm trơn, dễ bị nhầm vì trùng tên. "The trend component of the time series." sai vì xu hướng được xử lý bằng sai phân, tức bậc d trong ARIMA. "The seasonal variation in the data." sai vì mùa vụ do thành phần mùa vụ riêng như trong SARIMA đảm nhiệm.