Câu hỏi: AIE301m - Phần 2: Học có giám sát và mô hình chuỗi thời gian ARIMA

Đáp án đúng: "d, p, and q". Mô hình ARIMA(p, d, q) (AutoRegressive Integrated Moving Average, tự hồi quy tích hợp trung bình trượt) được xác định bởi ba tham số: p là bậc tự hồi quy, tức số độ trễ của chính chuỗi được đưa vào; d là bậc sai phân cần lấy để chuỗi trở nên dừng; q là bậc trung bình trượt, tức số độ trễ của sai số. Chọn mô hình ARIMA thực chất là chọn bộ ba này, thường dựa vào kiểm định tính dừng, đồ thị ACF/PACF và tiêu chí AIC/BIC. "the data" là đầu vào dùng để ước lượng chứ không phải tham số của mô hình. "the form of ARIMA" do chính p, d, q quyết định nên không phải một tham số riêng. "the best model" là kết quả sau khi chọn tham số, không phải thứ cần khai báo. "the estimation method", ví dụ hợp lý cực đại, là cách ước lượng hệ số chứ không thuộc cấu hình bậc của mô hình. Vì các mục ấy không phải tham số nên "All of the above" cũng sai.

Đáp án đúng: "To test for the presence of a unit root in a time series.". Kiểm định augmented Dickey-Fuller (ADF, Dickey-Fuller mở rộng) hồi quy sai phân của chuỗi lên mức trễ một kỳ cùng các sai phân trễ, với giả thuyết gốc là chuỗi có nghiệm đơn vị (unit root), tức không dừng; bác bỏ giả thuyết này nghĩa là chuỗi dừng, nên ADF là bước kiểm tra tính dừng trước khi mô hình hoá hay chọn số lần lấy sai phân. "To identify the best ARIMA model." sai vì chọn mô hình ARIMA tốt nhất dựa vào ACF, PACF và tiêu chí AIC hay BIC; ADF chỉ giúp quyết định bậc sai phân d. "To measure the correlation between two time series." là việc của hệ số tương quan hay tương quan chéo, không phải kiểm định nghiệm đơn vị trên một chuỗi. "To forecast future values based on past data." là mục đích của mô hình dự báo; ADF là kiểm định thống kê, không sinh ra giá trị dự báo.

Đáp án đúng: "Regression uses variables to explain a response while forecasting uses past data to predict the future.". Hồi quy (regression) mô hình hoá biến phụ thuộc (response) như một hàm của các biến giải thích, ví dụ lợi suất cổ phiếu theo lãi suất và lạm phát, mục tiêu là hiểu và lượng hoá quan hệ giữa các biến; dự báo chuỗi thời gian (forecasting) dùng chính các giá trị quá khứ của chuỗi, như giá các phiên trước, để ước lượng giá trị tương lai. Phát biểu "Forecasting uses variables to explain a response while regression uses past data to predict the future." đảo ngược vai trò của hai khái niệm: việc dùng biến giải thích để lý giải biến phản hồi là bản chất của hồi quy, còn dựa vào dữ liệu quá khứ để nhìn về tương lai mới là bản chất của dự báo.

Đáp án đúng gồm hai ý: "An ARIMA(p,1,q) model estimated on a series of logs of prices is equivalent to an ARIMA(p,0,q) model estimated on a set of continuously compounded returns" và "The estimation of ARIMA models is incompatible with the notion of cointegration". Lợi suất kép liên tục chính là sai phân bậc một của log giá, ln(P_t) − ln(P_t−1), nên lấy sai phân một lần trên log giá rồi ước lượng ARMA(p,q) cũng chính là ước lượng ARMA(p,q) trên chuỗi lợi suất. Với ý thứ hai, ARIMA lấy sai phân từng chuỗi để đưa về dừng, việc này xoá mất thông tin về quan hệ dài hạn giữa các mức giá, mà đồng liên kết (cointegration) lại chính là quan hệ dài hạn đó; muốn giữ nó phải dùng mô hình hiệu chỉnh sai số (error correction model). "The "I" stands for independent" sai vì chữ I trong ARIMA là integrated, nghĩa là tích hợp, chỉ số lần lấy sai phân d. "the optimal value of d could be 2 or 3" sai với chuỗi tài chính vì giá thường chỉ có một nghiệm đơn vị, sai phân một lần đã thành lợi suất dừng; d bằng 2 hay 3 hầu như không gặp và sẽ gây sai phân thừa (over-differencing).

Đáp án đúng: "To create and execute machine learning models using SQL". BigQuery ML là tính năng của kho dữ liệu Google BigQuery cho phép tạo, huấn luyện, đánh giá và dự đoán bằng mô hình học máy chỉ với câu lệnh SQL như CREATE MODEL, ML.EVALUATE và ML.PREDICT, ngay trên dữ liệu đang nằm trong BigQuery, không cần xuất dữ liệu sang Python hay một nền tảng khác. "To store large datasets" là chức năng của chính BigQuery như một kho dữ liệu, không phải mục đích riêng của phần ML. "To visualize data" là việc của công cụ trực quan hoá như Looker Studio, BigQuery ML không vẽ biểu đồ. "To manage cloud resources" thuộc về Cloud Console, IAM hay Resource Manager của Google Cloud, không liên quan đến huấn luyện mô hình bằng SQL.

Đáp án đúng: "Use past data to predict future". Dự báo chuỗi thời gian (time series forecast) dựa trên giả định rằng các mẫu hình trong quá khứ của chính chuỗi, như xu hướng, mùa vụ và tự tương quan, sẽ còn tiếp diễn, nên dùng giá trị quá khứ để ước lượng giá trị tương lai. "Use past data to explain the response" lẫn mục đích: dự báo hướng tới giá trị chưa xảy ra chứ không nhằm giải thích một biến phản hồi. "Use variables to explain the response" là mô tả của hồi quy, nơi các biến giải thích được dùng để lý giải biến phụ thuộc. "Use past to explain the response" cũng đặt trọng tâm vào việc giải thích thay vì dự đoán tương lai, nên không khớp với định nghĩa dự báo chuỗi thời gian.

Đáp án đúng: "Classification using Logistic Regression". Việc người dùng có nhấp vào quảng cáo hay không là biến đích nhị phân (có hoặc không), tức bài toán phân loại; hồi quy logistic đưa tổ hợp tuyến tính của các đặc trưng qua hàm sigmoid để ra xác suất nhấp nằm trong khoảng 0 đến 1, rồi so với ngưỡng để quyết định, và đây là mô hình kinh điển cho dự đoán tỉ lệ nhấp (click-through rate). "Time Series Analysis" dùng để mô hình hoá và dự báo một đại lượng theo thời gian, không phải gán nhãn có hay không cho từng người dùng. "Linear Regression" dự đoán giá trị liên tục và có thể cho kết quả âm hay lớn hơn 1, không diễn giải được thành xác suất. "K-Means Clustering" là học không giám sát, chỉ gom nhóm người dùng giống nhau chứ không dùng nhãn nhấp để dự đoán.

Đáp án đúng: "True". Phân rã chuỗi thời gian (time series decomposition) coi một chuỗi là tổ hợp cộng hoặc nhân của các thành phần: xu hướng (trend) là hướng đi dài hạn, mùa vụ (seasonal) là dao động lặp theo chu kỳ cố định như theo tháng hay quý, chu kỳ (cyclical) là dao động dài và không cố định như chu kỳ kinh tế, và phần dư (residual) là nhiễu ngẫu nhiên còn lại. Hầu hết chuỗi thực tế, như giá cổ phiếu hay doanh số, chứa ít nhất một vài thành phần này, nên phát biểu là đúng. Chọn "False" sẽ phủ nhận cách tiếp cận phân rã vốn là nền tảng của các mô hình dự báo như ARIMA có mùa vụ hay làm trơn hàm mũ.

Đáp án đúng: "It indicates which variable is dependent". Trong hồi quy, hướng (direction) của quan hệ cho biết biến nào là biến phụ thuộc được giải thích và biến nào là biến độc lập dùng để giải thích; hồi quy Y theo X cho đường khác hẳn hồi quy X theo Y, khác với tương quan vốn đối xứng. "It determines the strength of the correlation" sai vì độ mạnh của tương quan đo bằng hệ số tương quan, không đổi khi đảo vai hai biến. "It affects the number of data points used" sai vì số quan sát do dữ liệu quyết định, không phụ thuộc chiều hồi quy. "It has no significance" sai vì chọn sai chiều làm sai cách diễn giải hệ số và dự đoán.

Đáp án đúng: "Correlation between a variable and its lagged values". Tự tương quan (autocorrelation) đo mức tương quan của một chuỗi thời gian với chính nó ở các độ trễ (lag) khác nhau, ví dụ lợi suất hôm nay với lợi suất hôm qua là độ trễ 1; hàm ACF vẽ hệ số này theo từng độ trễ và là công cụ để nhận diện bậc của mô hình AR, MA trong ARIMA. "Correlation between two variables" là tương quan thông thường giữa hai biến khác nhau như giá dầu và giá cổ phiếu năng lượng, không có yếu tố chính chuỗi đó ở thời điểm trước. "Correlation between two different time series" là tương quan chéo (cross-correlation), dùng khi xét hai cổ phiếu trong một cặp giao dịch chẳng hạn, chứ không phải tự tương quan. "Correlation between two different populations" là so sánh giữa hai tổng thể, thuộc thống kê mô tả hoặc kiểm định, không liên quan tới cấu trúc theo thời gian của một chuỗi.

Đáp án đúng gồm năm ý: "The Google Cloud console", "The bq command-line tool", "The BigQuery REST API", "Integrated Colab Enterprise notebooks in BigQuery" và "External tools such as a Jupyter notebook or business intelligence platform". BigQuery ML cho phép tạo và dùng mô hình học máy bằng câu lệnh SQL như CREATE MODEL hay ML.PREDICT, nên bất kỳ kênh nào gửi được truy vấn tới BigQuery đều dùng được nó. Google Cloud console có trình soạn truy vấn để chạy câu lệnh ML ngay trên trình duyệt. Công cụ dòng lệnh bq chạy cùng câu lệnh đó từ terminal hay script. BigQuery REST API cho phép ứng dụng gửi truy vấn tạo và gọi mô hình bằng lập trình, các thư viện client đều đi qua lớp này. Colab Enterprise được tích hợp trong giao diện BigQuery để viết notebook Python và SQL ngay cạnh dữ liệu. Công cụ ngoài như Jupyter notebook hay nền tảng phân tích kinh doanh (business intelligence) kết nối qua thư viện client hoặc trình kết nối và cũng gửi được truy vấn ML. Vì cả năm kênh đều hợp lệ nên phải chọn đủ năm.

Đáp án đúng: "By eliminating the need to move data". BigQuery ML cho phép tạo, huấn luyện, đánh giá và dự đoán bằng câu lệnh SQL như CREATE MODEL và ML.PREDICT ngay bên trong kho dữ liệu BigQuery, nên không phải xuất dữ liệu sang một môi trường khác rồi viết đường ống chuyển đổi; bỏ được khâu di chuyển dữ liệu là nguồn tăng tốc phát triển chính. "By allowing users to write code in Python" sai vì điểm mạnh của BigQuery ML là dùng SQL, ngôn ngữ mà người phân tích dữ liệu đã quen, chứ không phải Python. "By providing pre-built models" chưa đúng trọng tâm: BigQuery ML cung cấp các loại mô hình dựng sẵn như hồi quy tuyến tính, k-means hay ARIMA_PLUS, nhưng người dùng vẫn huấn luyện chúng trên dữ liệu của mình, còn tốc độ đến từ việc không chuyển dữ liệu. "By using complex algorithms" sai vì độ phức tạp của thuật toán không làm phát triển nhanh hơn, thậm chí ngược lại.

Đáp án đúng: "All is correct". Học có giám sát (supervised learning) là nhánh học máy huấn luyện trên dữ liệu đã gán nhãn, mỗi mẫu có đầu vào kèm đầu ra đúng, để mô hình học ánh xạ từ đầu vào sang đầu ra rồi dự đoán cho dữ liệu mới; hồi quy và phân loại là hai dạng tiêu biểu. Cả ba phát biểu đều đúng nên phải chọn phương án gộp. "Supervised learning is a category of machine learning that uses labeled datasets to train algorithms to predict outcomes and recognize patterns." đúng vì nêu đúng nhánh học máy, dữ liệu gán nhãn và mục đích dự đoán. "Supervised learning algorithms are given labeled training to learn the relationship between the input and the outputs." đúng vì mô tả cơ chế học quan hệ giữa đầu vào và đầu ra. "Supervised machine learning algorithms make it easier for organizations to create complex models that can make accurate predictions." đúng ở góc độ ứng dụng: có nhãn rõ ràng giúp tổ chức xây và đánh giá được mô hình dự đoán chính xác. Chọn riêng một ý là bỏ sót hai góc nhìn kia.

Đáp án đúng: "The difference between the predicted and actual values.". Mô hình trung bình trượt MA(q) viết giá trị hiện tại bằng một hằng số cộng sai số hiện tại cộng tổ hợp tuyến tính của q sai số quá khứ. Sai số (error term) là các cú sốc nhiễu trắng, trong thực hành chính là phần chênh giữa giá trị thực tế quan sát được và giá trị mô hình dự báo một bước trước đó, nên mô hình MA dùng chính những lần dự báo hụt trong quá khứ để điều chỉnh dự báo hiện tại. "The average of past y values." sai vì mô hình MA dùng sai số quá khứ chứ không lấy trung bình các giá trị y quá khứ; lấy trung bình y là kỹ thuật làm trơn, dễ bị nhầm vì trùng tên. "The trend component of the time series." sai vì xu hướng được xử lý bằng sai phân, tức bậc d trong ARIMA. "The seasonal variation in the data." sai vì mùa vụ do thành phần mùa vụ riêng như trong SARIMA đảm nhiệm.

Đáp án đúng: "It can lead to overfitting if too many terms are included.". Mô hình trung bình trượt MA(q) biểu diễn giá trị hiện tại bằng tổ hợp tuyến tính của q sai số ngẫu nhiên quá khứ; tăng q thêm tham số cần ước lượng, nên mô hình có thể bám theo nhiễu của mẫu, sai số trong mẫu giảm nhưng dự báo ngoài mẫu kém đi, đó là quá khớp, vì vậy bậc q thường được chọn bằng ACF và tiêu chí AIC hay BIC có phạt số tham số. "It always improves the model's accuracy." sai vì thêm số hạng chỉ chắc chắn làm khớp trong mẫu tốt hơn chứ không chắc chắn cải thiện dự báo. "It has no effect on the model's predictions." sai vì mỗi số hạng mới thay đổi cách mô hình phản ứng với các cú sốc quá khứ. "It simplifies the model's structure." ngược lại sự thật: nhiều số hạng hơn làm mô hình phức tạp hơn.

Đáp án đúng: "Preservation of model stability". Chuỗi dừng (stationary) có trung bình, phương sai và tự hiệp phương sai không đổi theo thời gian. Các mô hình như AR, MA, ARMA giả định điều đó: chỉ khi quy luật thống kê không trôi đi thì hệ số ước lượng từ quá khứ mới ổn định và còn dùng được cho tương lai; với chuỗi không dừng như giá cổ phiếu, hệ số thay đổi theo giai đoạn và hồi quy dễ cho tương quan giả. Vì vậy người ta lấy sai phân hay chuyển sang lợi suất để có chuỗi dừng trước khi mô hình hoá. "It optimizes model performance" sai vì tính dừng không tự tối ưu hiệu năng; nó là điều kiện để mô hình hợp lệ, còn hiệu năng phụ thuộc chọn bậc, đặc trưng và dữ liệu. "Improves predictive power" chỉ là hệ quả gián tiếp có thể xảy ra, không phải lý do gốc, vì chuỗi đã dừng hoá như lợi suất thường lại khó dự báo hơn chuỗi giá.

Đáp án đúng: "All of the above". Một chuỗi thời gian thường được phân rã thành nhiều thành phần chồng lên nhau, và cả ba loại biến động nêu ra đều có mặt. "Long-term variations" là xu hướng (trend) dài hạn, như giá một cổ phiếu tăng dần qua nhiều năm. "Short-term variations" gồm biến động mùa vụ (seasonal) lặp lại theo chu kỳ cố định như ngày trong tuần, tháng trong năm, và biến động chu kỳ (cyclical) gắn với chu kỳ kinh tế. "Irregular variations" là phần ngẫu nhiên, khó dự báo, do tin tức bất ngờ hay cú sốc thị trường gây ra, còn lại sau khi tách xu hướng và mùa vụ. Mô hình như ARIMA hay phép phân rã cộng, nhân đều xử lý đủ các thành phần này, nên chọn riêng một loại biến động là mô tả chưa đầy đủ cấu trúc của chuỗi thời gian.

Đáp án đúng: "Classification". Đầu ra cần dự đoán là "có giao dịch bán xảy ra hay không", tức một nhãn rời rạc hai lớp có/không, và mô hình học từ dữ liệu lịch sử đã biết kết quả, nên đây là bài toán phân loại (classification) có giám sát. "Regression" dùng khi đích là số liên tục như doanh số bao nhiêu. "Forecasting" ước lượng giá trị tương lai của một chuỗi thời gian theo thời gian, còn ở đây ta chỉ cần quyết định có hay không cho từng tình huống thị trường. "Unsupervised learning" sai vì dữ liệu lịch sử đã có nhãn kết quả bán hay không, trong khi học không giám sát làm việc với dữ liệu không nhãn, như phân cụm.

Đáp án đúng: "Time lag". Mô hình tự hồi quy (Auto Regressive, AR) bậc p biểu diễn giá trị hiện tại như tổ hợp tuyến tính của p giá trị trước đó cộng nhiễu, tức x_t = c + phi_1 x_{t-1} + ... + phi_p x_{t-p} + e_t; xây mô hình AR chính là tìm số độ trễ thời gian (time lag) phù hợp, thường dựa vào hàm tự tương quan riêng phần PACF, rồi ước lượng hệ số cho từng độ trễ. "Spatial resolution" là độ phân giải không gian, khái niệm của ảnh và dữ liệu địa lý, không thuộc chuỗi thời gian. "Moving average" là thành phần MA của ARIMA, dùng các sai số dự báo quá khứ thay vì giá trị quá khứ, nên là quá trình khác với AR. "Principle components" là thành phần chính trong PCA, kỹ thuật giảm chiều dữ liệu theo phương sai, không phải thứ mà quá trình tự hồi quy cần tìm.

Đáp án đúng: "To estimate the relationship between variables". Giá trị vòng đời khách hàng (customer lifetime value) là tổng doanh thu hay lợi nhuận một khách hàng mang lại trong suốt thời gian gắn bó, một biến liên tục. Hồi quy ước lượng quan hệ giữa các biến đầu vào như tần suất mua, giá trị trung bình mỗi đơn, thời gian là khách với biến đầu ra là giá trị vòng đời, rồi dùng quan hệ đó dự báo cho khách mới. "To classify customers into distinct categories" là việc của mô hình phân loại hoặc phân cụm, cho ra nhãn nhóm chứ không phải một con số liên tục. "To visualize customer behavior" là trực quan hoá, công cụ mô tả dữ liệu chứ không phải mục đích của hồi quy. "To reduce the dimensionality of the data" là việc của các kỹ thuật như phân tích thành phần chính (PCA), giúp nén đặc trưng chứ không dự báo giá trị.