DHV301 - Xử lý và Trực quan hóa Dữ liệu

DHV301 là học phần 3 tín chỉ về quy trình dữ liệu và biểu diễn thông tin, có PDS301m là học phần tiên quyết. Phần đầu của môn học đặt dữ liệu trong bối cảnh phân tích: xác định câu hỏi theo miền, bên liên quan và KPI; mô tả tập dữ liệu bằng data dictionary, schema và kiểu dữ liệu; sau đó thực hành luồng vào/ra với CSV, Excel, JSON và truy cập dữ liệu bằng SQL ở mức nhập môn. Dữ liệu sau khi thu nhận được xử lý qua các thao tác kiểm soát giá trị thiếu, chuyển kiểu, phân tích ngày tháng, làm sạch chuỗi, chuẩn hóa hoặc co giãn thang đo, chia khoảng và mã hóa biến phân loại. Môn học tiếp tục với EDA và suy luận thống kê: bảng tóm tắt, phân vị, ngoại lệ, phân phối, độ lệch, phép gom nhóm, tương quan Pearson và Spearman, cùng việc sử dụng chi-square và ANOVA trong so sánh nhóm. Một nhánh thực hành mô hình hóa dùng hồi quy làm đường cơ sở, tách tập huấn luyện và kiểm tra, đọc MAE, RMSE và R², rồi khảo sát polynomial features, Ridge, pipeline tiền xử lý, GridSearchCV và nguyên tắc giữ dữ liệu đánh giá tách khỏi bước lựa chọn mô hình. Khối trực quan hóa bằng Python bao quát cách tổ chức figure và axes của Matplotlib, nhãn, thang đo, ticks, biểu đồ đường và chuỗi thời gian; các biểu diễn một biến, phân loại, hai biến và nhiều biến bằng Matplotlib/Seaborn; cùng kỹ thuật giảm overplotting, thêm trend line và phân biệt quan hệ quan sát được với kết luận nhân quả. Phần bản đồ dùng Folium với marker, layer, popup, GeoJSON và choropleth, đồng thời xem xét ảnh hưởng của chuẩn hóa và thang biểu diễn lên cách đọc dữ liệu không gian. Bên cạnh việc tạo hình, các buổi về data storytelling tập trung vào mối quan hệ giữa đối tượng nhận thông tin, thông điệp, cấu trúc kể chuyện, chú thích và tiêu đề biểu đồ; các lựa chọn waffle, wordcloud hoặc regression plot chỉ được đặt trong ngữ cảnh phù hợp với dữ liệu và mục đích trình bày. Với Power BI, môn học chuyển từ Power Query và các phép biến đổi ETL sang mô hình sao, quan hệ giữa bảng và độ hạt dữ liệu; tiếp đó là measure, calculated column, CALCULATE, filter context, trang báo cáo, slicer, drill-through, tooltip, bố cục dashboard, xuất bản, chia sẻ và quyền truy cập. Các buổi cuối về GenAI xem xét việc dùng mô hình tạo sinh cho ý tưởng biểu đồ, khung mã và bản nháp diễn giải, đi kèm bước kiểm chứng đầu ra, ghi nhận hỗ trợ của AI, quyền riêng tư, thiên kiến, quản trị dữ liệu, khả năng tái lập và lưu vết prompt. Tổng thể nội dung được tổ chức thành sáu phần theo sáu module giảng dạy; các buổi chỉ dùng cho đánh giá, clinic bài tập hoặc trình bày dự án không được tạo thành chủ đề kiến thức riêng.