Chủ đề của BDI302c - Dữ liệu lớn

BDI302c - Phần 9: Khám phá và chuẩn bị dữ liệu cho học máy

Dữ liệu thật hiếm khi sạch. Một điểm ngoại lai có thể là lỗi nhập liệu cần bỏ hoặc là hiện tượng thật đáng giữ, nên phải xét từng trường hợp; giá trị thiếu được bù bằng trung bình, bằng giá trị dự đoán, hoặc bỏ cả dòng. Dữ liệu bẩn đi thẳng vào mô hình sẽ làm cây quyết định ở Phần 10 chia nhánh theo nhiễu thay vì theo quy luật. Trước khi làm sạch cũng như sau đó, dữ liệu cần được thăm dò: độ lệch chuẩn cho biết giá trị trải rộng tới đâu, biểu đồ phân tán hé mối tương quan giữa hai đặc trưng. Giảm bớt số chiều giúp mô hình học nhanh hơn và ít học nhầm nhiễu. Tất cả phục vụ một mục tiêu: để máy tự rút quy luật từ dữ liệu, dù là bài toán có nhãn như đoán khách rời bỏ hay không nhãn như chia nhóm khách. KNIME và Spark MLlib là hai công cụ dùng để thực hành.

Xem danh sách câu hỏi4 câu hỏi100% có giải thích

Bắt đầu bằng Chế độ học nếu bạn muốn đáp án và giải thích hiện ngay sau mỗi câu — không bấm giờ, dừng lúc nào cũng được. Chọn Thi thử khi muốn biết mình đang ở đâu: có bấm giờ, chấm điểm ở cuối, và giải thích chỉ mở sau khi nộp.

Học ngân hàng câu hỏi của chủ đề

Luyện tập theo chủ đề này

4Câu hỏi hiện có

Câu hỏi của chủ đề

4/4 câuHết danh sách
ACluster Analysis
BClassification
CRegression
DAssociation Analysis
EAlgorithm Prediction
Lời giải
Đáp án đúng: "Algorithm Prediction". Học máy thường được chia theo loại bài toán: phân loại (classification) dự đoán nhãn rời rạc, hồi quy (regression) dự đoán giá trị số, phân tích cụm (cluster analysis) gom các mẫu giống nhau khi không có nhãn, và phân tích kết hợp (association analysis) tìm các mục hay xuất hiện cùng nhau. "Algorithm Prediction" không phải tên một nhóm bài toán nào; dự đoán là việc mà nhiều loại mô hình làm, còn thuật toán là công cụ chứ không phải một hạng mục. Câu hỏi dạng NOT nên bốn hạng mục thật không được chọn: "Cluster Analysis" là học không giám sát, ví dụ k-means chia khách hàng thành nhóm; "Classification" là học có giám sát với nhãn lớp, như kNN, cây quyết định, naive Bayes; "Regression" là học có giám sát với đầu ra liên tục, như dự đoán giá nhà; "Association Analysis" tìm luật dạng mua bánh mì thì mua bơ, đo bằng support và confidence.
Mở trang câu hỏi này →
Adf['sales'].mean()
Bmean(df['sales'])
Cdf mean('sales')
Dsales mean()
Lời giải
Đáp án đúng: "df['sales'].mean()". Trong Pandas, df['sales'] chọn cột sales của DataFrame và trả về một Series; Series có phương thức mean() tính trung bình cộng các giá trị, mặc định bỏ qua giá trị thiếu NaN, nên df['sales'].mean() là cú pháp đúng và gọn nhất. "mean(df['sales'])" sai vì Python không có hàm dựng sẵn tên mean; muốn gọi dạng hàm phải ghi rõ thư viện như np.mean(df['sales']) hoặc statistics.mean, còn viết trần sẽ báo NameError. "df mean('sales')" sai cú pháp vì thiếu dấu chấm để truy cập phương thức, và kể cả viết df.mean('sales') thì đối số đầu của DataFrame.mean là trục (axis) chứ không phải tên cột. "sales mean()" sai vì sales không phải một biến tồn tại riêng mà chỉ là tên cột bên trong df, lại cũng thiếu dấu chấm.
Mở trang câu hỏi này →
3What is equal-width binning?4 lựa chọn
ABins have the same number of items
BBins have same width ranges
CBins are random
DBins based on frequency
Lời giải
Đáp án đúng: "Bins have same width ranges". Equal-width binning (chia khoảng đều độ rộng) là kỹ thuật rời rạc hoá một biến số liên tục: lấy khoảng từ giá trị nhỏ nhất tới lớn nhất rồi chia thành k khoảng có cùng độ rộng bằng hiệu max trừ min chia cho k. Ví dụ tuổi từ 0 tới 100 với k bằng 5 cho các khoảng rộng 20 năm; số phần tử rơi vào mỗi khoảng có thể chênh nhau nhiều, nhất là khi có ngoại lai. "Bins have the same number of items" mô tả equal-frequency binning (chia theo tần suất đều, còn gọi equal-depth), trong đó độ rộng các khoảng khác nhau để mỗi khoảng chứa số phần tử bằng nhau. "Bins based on frequency" cũng thuộc nhóm chia theo tần suất, ranh giới đặt theo phân bố dữ liệu chứ không theo độ rộng cố định. "Bins are random" sai vì cả hai kiểu chia đều có quy tắc xác định.
Mở trang câu hỏi này →
AThe expected value (mean) of yt is a constant for all values of t.
BThe variance of yt is finite
CThe covariance of y t and y t +h depends only on the value of h=0,1, 2, . . .for all t .
DThe covariance of y t and y t +h not depends only on the value of h=0,1, 2, . . .for all t .
Lời giải
Đáp án đúng: "The covariance of y t and y t +h not depends only on the value of h=0,1, 2, . . .for all t .". Một chuỗi thời gian dừng (stationary) theo nghĩa yếu phải thoả ba điều kiện: kỳ vọng không đổi theo thời gian, phương sai hữu hạn, và hiệp phương sai giữa hai thời điểm chỉ phụ thuộc vào độ trễ h chứ không phụ thuộc vào vị trí t. Phát biểu được chọn phủ định điều kiện thứ ba: nếu hiệp phương sai còn phụ thuộc vào t thì cấu trúc tương quan thay đổi theo thời gian và chuỗi không dừng, nên đây là ngoại lệ câu hỏi tìm. Đây là câu EXCEPT nên những điều kiện thật không được chọn: "The expected value (mean) of yt is a constant for all values of t." là điều kiện trung bình không đổi, một chuỗi có xu hướng tăng dần sẽ vi phạm nó; "The variance of yt is finite" là điều kiện phương sai hữu hạn, và khi xét hiệp phương sai tại h bằng 0 thì phương sai còn phải không đổi theo t; "The covariance of y t and y t +h depends only on the value of h=0,1, 2, . . .for all t ." là điều kiện hiệp phương sai chỉ phụ thuộc độ trễ.
Mở trang câu hỏi này →

Đề có câu hỏi của chủ đề này

3 đề chứa ít nhất một câu thuộc chủ đề — mở đề để làm cả bộ, không chỉ từng câu.