Câu hỏi: AIE301m Ứng dụng trí tuệ nhân tạo cho giao dịch – Bộ ôn tập cuối kỳ số 1

Đáp án đúng: "Feedback-based learning technique". Học tăng cường (reinforcement learning) là kỹ thuật học dựa trên phản hồi: tác nhân (agent) thực hiện hành động trong môi trường, nhận phần thưởng (reward) hoặc hình phạt, rồi điều chỉnh chính sách (policy) để tối đa hoá tổng phần thưởng tích luỹ; chính tín hiệu phần thưởng là phản hồi dẫn dắt việc học, chẳng hạn lãi hay lỗ sau mỗi lệnh trong giao dịch. "Prediction-based learning technique" không khớp vì mục tiêu của tác nhân không phải dự đoán đúng một nhãn như học có giám sát, mà là chọn hành động tốt nhất theo từng trạng thái. "History results-based learning technique" không khớp vì tác nhân không học từ một bảng kết quả lịch sử cho sẵn mà tự sinh trải nghiệm bằng cách tương tác với môi trường. "Prediction-based learning model" sai ở hai điểm: vẫn đặt trọng tâm vào dự đoán, và học tăng cường là một khuôn khổ/kỹ thuật học chứ không phải một mô hình cụ thể.

Đáp án đúng: "d, p, and q". Mô hình ARIMA(p, d, q) (AutoRegressive Integrated Moving Average, tự hồi quy tích hợp trung bình trượt) được xác định bởi ba tham số: p là bậc tự hồi quy, tức số độ trễ của chính chuỗi được đưa vào; d là bậc sai phân cần lấy để chuỗi trở nên dừng; q là bậc trung bình trượt, tức số độ trễ của sai số. Chọn mô hình ARIMA thực chất là chọn bộ ba này, thường dựa vào kiểm định tính dừng, đồ thị ACF/PACF và tiêu chí AIC/BIC. "the data" là đầu vào dùng để ước lượng chứ không phải tham số của mô hình. "the form of ARIMA" do chính p, d, q quyết định nên không phải một tham số riêng. "the best model" là kết quả sau khi chọn tham số, không phải thứ cần khai báo. "the estimation method", ví dụ hợp lý cực đại, là cách ước lượng hệ số chứ không thuộc cấu hình bậc của mô hình. Vì các mục ấy không phải tham số nên "All of the above" cũng sai.

Đáp án đúng: "To test for the presence of a unit root in a time series.". Kiểm định augmented Dickey-Fuller (ADF, Dickey-Fuller mở rộng) hồi quy sai phân của chuỗi lên mức trễ một kỳ cùng các sai phân trễ, với giả thuyết gốc là chuỗi có nghiệm đơn vị (unit root), tức không dừng; bác bỏ giả thuyết này nghĩa là chuỗi dừng, nên ADF là bước kiểm tra tính dừng trước khi mô hình hoá hay chọn số lần lấy sai phân. "To identify the best ARIMA model." sai vì chọn mô hình ARIMA tốt nhất dựa vào ACF, PACF và tiêu chí AIC hay BIC; ADF chỉ giúp quyết định bậc sai phân d. "To measure the correlation between two time series." là việc của hệ số tương quan hay tương quan chéo, không phải kiểm định nghiệm đơn vị trên một chuỗi. "To forecast future values based on past data." là mục đích của mô hình dự báo; ADF là kiểm định thống kê, không sinh ra giá trị dự báo.

Đáp án đúng: "Driverless cars". Học tăng cường (reinforcement learning) là cách một tác tử (agent) học chính sách hành động qua thử và sai trong môi trường, nhận phần thưởng hoặc hình phạt sau mỗi hành động; xe tự lái phải liên tục quyết định tăng tốc, phanh, đổi làn dựa trên trạng thái đường và nhận phản hồi về an toàn, nên là ví dụ điển hình. "House pricing prediction" là bài toán hồi quy có giám sát, học từ cặp đặc trưng và giá đã biết chứ không có chuỗi hành động hay phần thưởng. "Market basket analysis" là khai phá luật kết hợp không giám sát, tìm các mặt hàng hay được mua cùng nhau. "Text classification" là phân loại có giám sát, gán nhãn cho văn bản từ dữ liệu đã gán nhãn sẵn, không có tương tác với môi trường.

Đáp án đúng: "Softmax". Với bài toán phân loại nhiều lớp (multiclass classification), tầng đầu ra cần trả về một phân phối xác suất trên K lớp; Softmax biến vector điểm thô z thành exp(z_i) chia cho tổng exp(z_j), nên mọi đầu ra nằm trong khoảng 0 đến 1 và cộng lại bằng 1, rồi kết hợp với hàm mất mát categorical cross-entropy. "Sigmoid" cho mỗi nơ-ron một xác suất độc lập trong khoảng 0 đến 1, hợp với phân loại nhị phân hoặc đa nhãn (multi-label), nhưng các đầu ra không bị ràng buộc tổng bằng 1 nên không phải lựa chọn chuẩn cho nhiều lớp loại trừ nhau. "ReLU (Rectified Linear Unit)" trả về max(0, x), không bị chặn trên và không chuẩn hoá thành xác suất, nên dùng ở tầng ẩn chứ không dùng ở đầu ra phân loại. "Tanh" cho giá trị trong khoảng -1 đến 1, chủ yếu dùng ở tầng ẩn hoặc trong cổng của LSTM, không diễn giải được thành xác suất lớp.

Đáp án đúng: "Dynamic stop losses reduce the expected risk of your strategy.". Dừng lỗ động (dynamic stop loss, kiểu trailing stop) dời mức dừng theo giá khi lệnh có lãi hoặc theo độ biến động, ví dụ một bội số của ATR, nên mức lỗ tối đa thu hẹp dần và phần lãi đã có được khoá lại; dừng lỗ tĩnh thì đứng yên ở một mức cố định từ lúc vào lệnh. Lợi ích chính vì vậy là giảm rủi ro kỳ vọng của chiến lược. "Dynamic stop losses guarantee that your strategy will not make a loss even if it is stopped out." sai vì mức dừng vẫn có thể nằm dưới giá vào lệnh, và trượt giá hay khoảng trống giá (gap) có thể khiến lệnh khớp tệ hơn mức dừng, nên không có gì bảo đảm không lỗ. "Dynamic stop losses increase your expected returns from a trading strategy." sai vì dừng lỗ động có thể cắt lệnh sớm khi giá chỉ dao động bình thường, làm mất phần tăng về sau; tác động của nó lên lợi suất kỳ vọng không chắc chắn, thứ được cải thiện rõ ràng là mức rủi ro.

Đáp án đúng: "2,856 shares of Salesforce (CRM)". Vốn phân bổ cho chiến lược là 5% của 10.000.000 USD, tức 500.000 USD dồn hết vào chân mua ORCL, được 500.000/50 = 10.000 cổ phiếu. Phòng hộ beta (beta hedged) nghĩa là mức phơi nhiễm theo beta của hai chân bằng nhau: 500.000 × 1,15 = 575.000 USD tương đương thị trường, nên giá trị bán khống CRM cần là 575.000/1,22 ≈ 471.311 USD, chia giá 165 được khoảng 2.856,4, làm tròn xuống 2.856 cổ phiếu. "3,030 shares of Salesforce (CRM)" là kết quả của 500.000/165, tức cặp trung tính theo đô la (dollar neutral), bỏ qua chênh lệch beta. "2,484 shares of Salesforce (CRM)" ứng với 500.000/1,22/165, chỉ chia cho beta của CRM mà quên nhân beta 1,15 của ORCL, nên chân bán khống bị thiếu và danh mục vẫn còn phơi nhiễm thị trường dương.

Đáp án đúng: "Regression uses variables to explain a response while forecasting uses past data to predict the future.". Hồi quy (regression) mô hình hoá biến phụ thuộc (response) như một hàm của các biến giải thích, ví dụ lợi suất cổ phiếu theo lãi suất và lạm phát, mục tiêu là hiểu và lượng hoá quan hệ giữa các biến; dự báo chuỗi thời gian (forecasting) dùng chính các giá trị quá khứ của chuỗi, như giá các phiên trước, để ước lượng giá trị tương lai. Phát biểu "Forecasting uses variables to explain a response while regression uses past data to predict the future." đảo ngược vai trò của hai khái niệm: việc dùng biến giải thích để lý giải biến phản hồi là bản chất của hồi quy, còn dựa vào dữ liệu quá khứ để nhìn về tương lai mới là bản chất của dự báo.

Đáp án đúng gồm ba ý: "Early stopping", "Regularization" và "Dropout". Quá khớp (overfitting) xảy ra khi mô hình học thuộc cả nhiễu của tập huấn luyện nên kém trên dữ liệu mới; cách chống là giới hạn năng lực hoặc thời gian học của mô hình. "Early stopping" (dừng sớm) theo dõi sai số trên tập kiểm định và dừng huấn luyện khi sai số này bắt đầu tăng. "Regularization" (chính quy hoá) như L1, L2 cộng thêm phạt độ lớn trọng số vào hàm mất mát, buộc mô hình đơn giản hơn. "Dropout" tắt ngẫu nhiên một phần nơ-ron ở mỗi bước huấn luyện, khiến mạng không dựa dẫm vào vài nơ-ron và hoạt động như trung bình của nhiều mạng con. "Increase model complexity" làm ngược lại: thêm tầng, thêm tham số giúp mô hình ghi nhớ nhiễu dễ hơn, đó là cách chữa thiếu khớp (underfitting). "Increase the duration of training the data" cũng làm quá khớp nặng thêm, vì huấn luyện càng lâu sau điểm tối ưu thì sai số kiểm định càng tăng, đúng điều mà dừng sớm muốn tránh.

Đáp án đúng: "Create the features from data and develop a trading strategy use these features". Một chiến lược giao dịch dùng học máy (ML trading strategy) đi theo chuỗi: thu thập dữ liệu, tạo đặc trưng (features, các biến đầu vào như lợi suất trễ hay chỉ báo động lượng), huấn luyện mô hình dự báo, rồi biến dự báo thành quy tắc mua bán và kiểm định lại trên dữ liệu lịch sử (backtest). Đây là phương án duy nhất nói tới chính chiến lược giao dịch. "Create the data and fine the features" chỉ là bước chuẩn bị dữ liệu và đặc trưng, chưa có quy tắc giao dịch nào. "Build a model and traing the data" chỉ là bước huấn luyện; một mô hình dự báo tốt tự thân chưa phải chiến lược khi chưa có luật vào lệnh, thoát lệnh và quản lý vốn. Có nguồn chọn "All of the above" với lý lẽ cả ba đều là bước của quy trình, nhưng câu hỏi hỏi cách tạo chiến lược, mà tạo dữ liệu hay huấn luyện mô hình tự thân chưa tạo ra chiến lược giao dịch, nên phương án gộp không chính xác bằng phương án nói đủ đường đi từ đặc trưng tới chiến lược.

Đáp án đúng: "N". Tensor là mảng nhiều chiều có thể có số chiều (rank, hạng) bất kỳ: hạng 0 là một số vô hướng, hạng 1 là vectơ, hạng 2 là ma trận, và tổng quát là N chiều, ví dụ một lô ảnh màu trong TensorFlow là tensor 4 chiều gồm số mẫu, chiều cao, chiều rộng và kênh màu. Vì vậy câu hỏi về số chiều chung của tensor phải trả lời bằng N. "1" chỉ đúng cho tensor hạng 1, tức vectơ, là một trường hợp riêng. "2" chỉ đúng cho ma trận, tensor hạng 2, cũng là trường hợp riêng. "3" chỉ đúng cho tensor hạng 3 như một chuỗi thời gian nhiều đặc trưng xếp theo lô, không mô tả được vô hướng hay tensor 4, 5 chiều nên không phải định nghĩa tổng quát.

Đáp án đúng: "HFT requires sub-millisecond order creation and submission.". Giao dịch tần suất cao (high-frequency trading) kiếm lợi từ chênh lệch giá rất nhỏ và tồn tại rất ngắn, nên lợi thế cạnh tranh nằm ở tốc độ: lệnh phải được tạo và gửi trong thời gian dưới một phần nghìn giây, nhờ đặt máy chủ cạnh sàn (co-location) và hạ tầng độ trễ thấp. "HFT strategies are primarily based on long-term market trends." sai vì HFT nắm giữ vị thế trong vài giây hoặc ngắn hơn, không đặt cược vào xu hướng dài hạn. "HFT does not involve any statistical analysis." sai vì các chiến lược HFT như tạo lập thị trường hay chênh lệch thống kê dựa nặng vào mô hình thống kê trên dữ liệu sổ lệnh. "HFT is only used by retail investors." sai vì HFT do các công ty giao dịch độc quyền và quỹ có hạ tầng đắt tiền thực hiện, nhà đầu tư cá nhân hầu như không thể tham gia.

Đáp án đúng: "A machine learning library". TensorFlow là thư viện mã nguồn mở do Google phát triển cho học máy nói chung: nó cung cấp tensor, phép tính khả vi, GradientTape, tf.data, Keras và công cụ triển khai, dùng được cho cả hồi quy, phân loại, mô hình xác suất chứ không chỉ mạng sâu. Cần nói thẳng rằng "A deep learning framework" là cách gọi rất thường gặp và không vô lý, vì TensorFlow nổi tiếng nhất nhờ huấn luyện mạng nơ-ron sâu; tuy vậy cách gọi đó thu hẹp phạm vi của nó, còn thư viện học máy là cách gọi bao quát và đúng hơn với những gì TensorFlow tự mô tả, nên vẫn chọn đáp án đã nêu. "A programming language" sai vì TensorFlow chạy trên ngôn ngữ chủ như Python, C++ hay JavaScript, bản thân nó không phải ngôn ngữ. "A database management system" sai vì TensorFlow không lưu trữ hay truy vấn dữ liệu theo kiểu cơ sở dữ liệu; việc đó thuộc về hệ như BigQuery, còn TensorFlow chỉ đọc dữ liệu để tính toán và huấn luyện.

Đáp án đúng: "1940s". Nói cho chính xác, perceptron do Frank Rosenblatt công bố năm 1957–1958, nên không phương án nào trùng năm ra đời của nó vì không có lựa chọn thập niên 1950. Tuy vậy perceptron được xây trực tiếp trên mô hình nơ-ron nhân tạo của Warren McCulloch và Walter Pitts năm 1943, mô hình đầu tiên coi nơ-ron là một đơn vị ngưỡng nhận tổng có trọng số của các đầu vào, và tài liệu nhập môn học máy cho tài chính thường đặt khởi nguồn của mạng nơ-ron và perceptron ở thập niên 1940; đó là lý do chọn mốc này. "1800s" quá sớm, khi chưa có máy tính lẫn lý thuyết nơ-ron tính toán. "1960s" là thời perceptron được phân tích và phê phán, cuốn Perceptrons của Minsky và Papert năm 1969 chỉ ra nó không giải được bài toán XOR, chứ không phải lúc nó xuất hiện. "1980s" là giai đoạn lan truyền ngược (backpropagation) làm sống lại mạng nhiều lớp, muộn hơn nhiều so với gốc của perceptron.

Đáp án đúng gồm hai ý: "An ARIMA(p,1,q) model estimated on a series of logs of prices is equivalent to an ARIMA(p,0,q) model estimated on a set of continuously compounded returns" và "The estimation of ARIMA models is incompatible with the notion of cointegration". Lợi suất kép liên tục chính là sai phân bậc một của log giá, ln(P_t) − ln(P_t−1), nên lấy sai phân một lần trên log giá rồi ước lượng ARMA(p,q) cũng chính là ước lượng ARMA(p,q) trên chuỗi lợi suất. Với ý thứ hai, ARIMA lấy sai phân từng chuỗi để đưa về dừng, việc này xoá mất thông tin về quan hệ dài hạn giữa các mức giá, mà đồng liên kết (cointegration) lại chính là quan hệ dài hạn đó; muốn giữ nó phải dùng mô hình hiệu chỉnh sai số (error correction model). "The "I" stands for independent" sai vì chữ I trong ARIMA là integrated, nghĩa là tích hợp, chỉ số lần lấy sai phân d. "the optimal value of d could be 2 or 3" sai với chuỗi tài chính vì giá thường chỉ có một nghiệm đơn vị, sai phân một lần đã thành lợi suất dừng; d bằng 2 hay 3 hầu như không gặp và sẽ gây sai phân thừa (over-differencing).

Đáp án đúng: "Deep Q-Network (DQN)". DQN thay bảng Q bằng một mạng nơ-ron làm hàm xấp xỉ (function approximator) cho hàm giá trị Q(s, a), nhờ đó xử lý được không gian trạng thái rất lớn như ảnh màn hình hay chuỗi giá, kèm các kỹ thuật bộ nhớ phát lại (experience replay) và mạng mục tiêu để ổn định huấn luyện. "Q-learning" ở dạng gốc lưu giá trị Q trong một bảng tra theo từng cặp trạng thái và hành động, không cần mạng nơ-ron. "Policy gradient" là họ thuật toán tối ưu trực tiếp chính sách; nó có thể dùng mạng nơ-ron nhưng bản thân khái niệm không gắn với hàm xấp xỉ bằng mạng như tên gọi của DQN. "Monte Carlo methods" ước lượng giá trị bằng trung bình phần thưởng của các tập (episode) hoàn chỉnh, thường ở dạng bảng.

Đáp án đúng: "The model performs well on training data but poorly on validation data.". Quá khớp (overfitting) là khi mô hình học thuộc cả nhiễu và chi tiết riêng của tập huấn luyện, nên sai số huấn luyện rất thấp nhưng sai số trên tập kiểm định (validation) cao; khoảng cách lớn giữa hai sai số là dấu hiệu nhận biết, ví dụ chiến lược giao dịch đẹp trên dữ liệu quá khứ nhưng thua lỗ trên dữ liệu mới. "The model performs poorly on training data and on validation data." là dấu hiệu thiếu khớp (underfitting): mô hình quá đơn giản, chưa nắm được quy luật ngay cả trên dữ liệu đã thấy. "The model performs well on training data and on validation data." là trạng thái mong muốn, mô hình khái quát hoá tốt. "The model performs poorly on training data and well on validation data." là tình huống bất thường, thường do tập kiểm định quá nhỏ, quá dễ, hoặc do dropout và chính quy hoá chỉ bật khi huấn luyện, chứ không phải quá khớp.

Đáp án đúng: "All of the above". Lan truyền ngược (backpropagation) là thuật toán dùng quy tắc chuỗi để tính đạo hàm của hàm mất mát theo từng trọng số, đi lùi từ lớp đầu ra về lớp đầu vào; cả ba mô tả đều đúng cùng lúc nên phải chọn phương án gộp. "To calculate the gradients for updating the network's parameters" đúng vì sản phẩm của lan truyền ngược chính là gradient để bộ tối ưu như SGD hay Adam cập nhật tham số. "To propagate errors from the output layer to the input layer" đúng vì tín hiệu sai số ở đầu ra được truyền ngược qua từng lớp, mỗi lớp nhận phần sai số thuộc về các trọng số của mình. "To train a neural network" đúng vì lan truyền ngược kết hợp với giảm gradient là cơ chế huấn luyện chuẩn của mạng nơ-ron. Chọn riêng một ý thì bỏ sót hai mặt kia của cùng một quá trình, nên không ý đơn lẻ nào đủ bằng phương án gộp.

Đáp án đúng: "To create and execute machine learning models using SQL". BigQuery ML là tính năng của kho dữ liệu Google BigQuery cho phép tạo, huấn luyện, đánh giá và dự đoán bằng mô hình học máy chỉ với câu lệnh SQL như CREATE MODEL, ML.EVALUATE và ML.PREDICT, ngay trên dữ liệu đang nằm trong BigQuery, không cần xuất dữ liệu sang Python hay một nền tảng khác. "To store large datasets" là chức năng của chính BigQuery như một kho dữ liệu, không phải mục đích riêng của phần ML. "To visualize data" là việc của công cụ trực quan hoá như Looker Studio, BigQuery ML không vẽ biểu đồ. "To manage cloud resources" thuộc về Cloud Console, IAM hay Resource Manager của Google Cloud, không liên quan đến huấn luyện mô hình bằng SQL.

Đáp án đúng: "A graph that represents the mathematical operations performed by a neural network". Trong TensorFlow, đồ thị tính toán (computation graph) là đồ thị có hướng mà mỗi nút là một phép toán (operation) như nhân ma trận, cộng, hàm kích hoạt, còn mỗi cạnh là tensor chảy giữa các phép toán; nhờ đồ thị này TensorFlow tối ưu, song song hoá và tính đạo hàm tự động. "A graph that represents the structure of a neural network" chỉ mô tả kiến trúc các lớp ở mức khái niệm, chưa nói tới các phép toán cụ thể. "A graph that represents the input and output of a neural network" quá hẹp vì đồ thị còn gồm mọi phép toán trung gian. "A graph that represents the weights and biases of a neural network" sai vì trọng số và độ lệch chỉ là các biến tham gia vào phép toán, không phải nội dung chính của đồ thị.