Chủ đề của BDI302c - Dữ liệu lớn

BDI302c - Phần 11: Luật kết hợp, hồi quy và phân cụm

Luật kết hợp tìm những món thường được mua cùng nhau trong giỏ hàng: độ hỗ trợ đo tập món xuất hiện thường tới đâu, độ tin cậy đo khi có món này thì khả năng có món kia là bao nhiêu, và chỉ giữ luật vượt cả hai ngưỡng. Phân cụm k-means chia dữ liệu không nhãn thành k nhóm bằng cách lặp lại việc gán điểm cho tâm gần nhất rồi dời tâm về trung bình nhóm. Vì k-means dựa trên khoảng cách, đặc trưng cần được đưa về cùng thang đo như ở Phần 9, nếu không thu nhập tính bằng triệu sẽ lấn át tuổi tính bằng chục. Tổng bình phương khoảng cách trong cụm giúp chọn k, còn ý nghĩa của từng cụm phải do người hiểu nghiệp vụ đọc ra, như nhóm khách mua ít nhưng đều đặn. Cả hai kỹ thuật đều chạy trên dữ liệu không có nhãn đúng để so, khác với phân loại ở Phần 10.

Xem danh sách câu hỏi4 câu hỏi100% có giải thích

Bắt đầu bằng Chế độ học nếu bạn muốn đáp án và giải thích hiện ngay sau mỗi câu — không bấm giờ, dừng lúc nào cũng được. Chọn Thi thử khi muốn biết mình đang ở đâu: có bấm giờ, chấm điểm ở cuối, và giải thích chỉ mở sau khi nộp.

Học ngân hàng câu hỏi của chủ đề

Luyện tập theo chủ đề này

4Câu hỏi hiện có

Câu hỏi của chủ đề

4/4 câuHết danh sách
AApply classification on clusters
BIncrease support
CUse FP-Growth
DConvert to regression
Lời giải
Đáp án đúng: "Apply classification on clusters". Phân cụm (clustering) như k-means là học không giám sát: nó chia dữ liệu thành các nhóm giống nhau nhưng không gắn tên cho nhóm. Sau khi chuyên gia xem đặc điểm từng cụm và đặt nhãn, ví dụ cụm khách chi tiêu cao, các nhãn đó có thể làm dữ liệu huấn luyện cho một bộ phân loại (classification) để gán nhãn cho cả những mẫu mới; đó là cách phân cụm hỗ trợ tạo dữ liệu có nhãn. "Increase support" sai vì support là độ đo tần suất xuất hiện của tập mục trong luật kết hợp, không liên quan đến việc đặt nhãn cụm. "Use FP-Growth" sai vì FP-Growth là thuật toán khai phá tập mục phổ biến cho luật kết hợp, không gán nhãn cho cụm. "Convert to regression" sai vì hồi quy dự đoán giá trị số liên tục, còn nhãn cụm là nhãn rời rạc nên bài toán phù hợp là phân loại.
Mở trang câu hỏi này →
ARemove outliers
BUse more variables
CGive equal importance to variables
DReduce support
Lời giải
Đáp án đúng: "Give equal importance to variables". Các thuật toán phân cụm như k-means dựa vào khoảng cách giữa các điểm, thường là khoảng cách Euclid; nếu một biến có thang đo lớn, ví dụ thu nhập tính bằng triệu, và biến khác có thang nhỏ như số con, thì biến thang lớn sẽ áp đảo khoảng cách và quyết định cụm. Chuẩn hoá (normalization) như min-max hay z-score đưa các biến về cùng thang để mỗi biến đóng góp ngang nhau. "Remove outliers" là một bước tiền xử lý khác; chuẩn hoá không loại điểm nào, và chuẩn hoá min-max còn bị ngoại lai làm lệch. "Use more variables" không liên quan, vì chuẩn hoá giữ nguyên số biến. "Reduce support" lẫn sang khái niệm support (độ hỗ trợ) của phân tích luật kết hợp, không phải phân cụm.
Mở trang câu hỏi này →
AFrequency of rule
BSupport of consequence
Csupp(X ∪ Y) / supp(X)
Dsupp(X) / supp(Y)
Lời giải
Đáp án đúng: "supp(X ∪ Y) / supp(X)". Trong phân tích luật kết hợp, confidence (độ tin cậy) của luật X suy ra Y là xác suất có điều kiện giao dịch chứa Y khi đã chứa X, tính bằng support của tập gồm cả X và Y chia cho support của X. Ví dụ trong 100 giao dịch có 40 giao dịch chứa bánh mì và 30 giao dịch chứa cả bánh mì lẫn sữa thì confidence của luật bánh mì suy ra sữa là 30 chia 40, bằng 0,75. "Frequency of rule" là định nghĩa của support của luật, tức tỉ lệ giao dịch chứa cả X và Y, không chia cho support của X. "Support of consequence" chỉ là support của Y, dùng trong mẫu số của chỉ số lift chứ không phải confidence. "supp(X) / supp(Y)" là tỉ số giữa hai support đơn lẻ, không phản ánh việc X và Y cùng xuất hiện nên không đo độ tin cậy của luật.
Mở trang câu hỏi này →
AYes
BNo
Lời giải
Đáp án đúng: "No". K-Means bắt đầu bằng việc chọn ngẫu nhiên k tâm cụm ban đầu, rồi lặp hai bước: gán mỗi điểm vào tâm gần nhất và tính lại tâm bằng trung bình các điểm trong cụm, cho tới khi hội tụ. Thuật toán chỉ bảo đảm hội tụ về một cực tiểu cục bộ của tổng bình phương khoảng cách trong cụm, và cực tiểu đó phụ thuộc vào tâm khởi tạo, nên hai lần chạy với khởi tạo ngẫu nhiên khác nhau có thể cho cách phân cụm khác nhau. Vì vậy trong thực hành người ta chạy nhiều lần rồi chọn kết quả có tổng sai số nhỏ nhất, hoặc dùng k-means++ để khởi tạo tốt hơn. "Yes" chỉ đúng khi cố định hạt giống ngẫu nhiên hoặc dùng cùng một bộ tâm khởi tạo, điều mà câu hỏi không giả định.
Mở trang câu hỏi này →

Đề có câu hỏi của chủ đề này

1 đề chứa ít nhất một câu thuộc chủ đề — mở đề để làm cả bộ, không chỉ từng câu.