BDI302c - Phần 2: Khoa học dữ liệu và quy trình tạo giá trị

Đáp án đúng: "Prepare". Quy trình khoa học dữ liệu thường chia năm bước: thu thập (Acquire), chuẩn bị (Prepare), phân tích (Analyze), báo cáo (Report) và hành động (Act); bước chuẩn bị gồm khám phá dữ liệu để hiểu bản chất của nó rồi tiền xử lý như làm sạch, xử lý giá trị thiếu, chuẩn hoá, chọn và biến đổi đặc trưng, tức là đưa dữ liệu thô về dạng mà mô hình dùng được. "Acquire" chỉ là xác định và lấy dữ liệu về từ các nguồn, dữ liệu lúc đó vẫn còn thô. "Analyze" là bước chọn kỹ thuật phân tích, dựng và đánh giá mô hình, vốn đòi hỏi dữ liệu đã được chuẩn bị xong từ trước. "Report" là trình bày kết quả và phát hiện cho người ra quyết định, nằm ở cuối quy trình nên không còn biến đổi dữ liệu thô nữa.

Đáp án đúng: "Selecting modeling technique". CRISP-DM (Cross-Industry Standard Process for Data Mining, quy trình chuẩn liên ngành cho khai phá dữ liệu) gồm sáu pha: Business Understanding, Data Understanding, Data Preparation, Modeling, Evaluation và Deployment. Pha Modeling (mô hình hoá) bắt đầu bằng việc chọn kỹ thuật mô hình phù hợp như cây quyết định, hồi quy hay phân cụm, sau đó thiết kế cách kiểm thử, xây mô hình và tinh chỉnh tham số. "Business rules" gắn với pha Business Understanding, nơi xác định mục tiêu và ràng buộc nghiệp vụ trước khi chạm tới dữ liệu. "Cleaning data" là việc của pha Data Preparation, diễn ra trước khi mô hình hoá để có dữ liệu sạch làm đầu vào. "Deploying models" thuộc pha cuối Deployment, khi mô hình đã được đánh giá xong và đưa vào vận hành.

Đáp án đúng: "Business Objectives". Một chiến lược dữ liệu lớn phải bắt đầu từ câu hỏi doanh nghiệp muốn đạt điều gì: tăng doanh thu, giảm khách hàng rời bỏ hay tối ưu vận hành. Chỉ khi mục tiêu kinh doanh rõ ràng mới biết cần dữ liệu gì, phân tích gì và đo thành công bằng chỉ số nào; thiếu bước này, các bước sau dễ thành đầu tư công nghệ không có đích. "Organizational Buy-In" (sự ủng hộ của tổ chức, nhất là từ lãnh đạo) rất quan trọng nhưng muốn thuyết phục được ai thì trước hết phải có mục tiêu để trình bày. "Build In-House Expertise" là xây đội ngũ chuyên môn nội bộ, làm sau khi đã biết mục tiêu đòi hỏi kỹ năng nào. "Collect Data" là bước thu thập, cần được dẫn dắt bởi mục tiêu để không gom tràn lan dữ liệu vô ích.

Đáp án đúng: "Data produced from an organization that is spread out. Bad because it creates unsynchronized and invisible data". Data silo (ốc đảo dữ liệu) là tình trạng dữ liệu của một tổ chức nằm rải rác ở từng phòng ban, từng hệ thống riêng, không được kết nối; hậu quả là các bản sao không đồng bộ với nhau và phần lớn dữ liệu vô hình với những bộ phận khác, nên tổ chức không có cái nhìn tổng thể. "A giant centralized database to house all the data production within an organization. Bad because it hinders opportunity for data generation" mô tả một kho tập trung, tức điều ngược lại với silo, và kho tập trung cũng không cản việc sinh dữ liệu. Mảnh "Bad because it is hard to maintain as highly structured data" cũng nói về kho tập trung, là giải pháp người ta hướng tới để phá silo chứ không phải bản thân silo. "Highly unstructured data. Bad because it does not provide meaningful results for organizations" nhầm silo với dữ liệu phi cấu trúc; dữ liệu phi cấu trúc vẫn khai thác được và silo có thể toàn bảng có cấu trúc.

Đáp án đúng: "Defer Commitment". Câu này thuộc phát triển phần mềm tinh gọn (Lean Software Development), không phải kỹ thuật dữ liệu lớn. Trong các nguyên tắc Lean, Defer Commitment (trì hoãn cam kết) khuyên giữ các phương án mở và chỉ chốt quyết định khó đảo ngược khi đã có đủ thông tin; công cụ The Last Responsible Moment (thời điểm có trách nhiệm cuối cùng) chính là mốc muộn nhất mà nếu chưa quyết thì sẽ mất một phương án quan trọng, nên quyết định được đưa ra đúng lúc đó. "Empower People" là nguyên tắc trao quyền cho đội ngũ tự ra quyết định, không bàn về thời điểm quyết định. "See the Whole" yêu cầu tối ưu toàn bộ dòng giá trị thay vì từng phần riêng lẻ. "Deliver Fast" là rút ngắn chu kỳ giao hàng; giao nhanh giúp trì hoãn cam kết dễ hơn, nhưng thời điểm có trách nhiệm cuối cùng là công cụ của nguyên tắc trì hoãn cam kết.

Đáp án đúng: "In the Product Backlog". Đây là kiến thức về Scrum, khung quản lý dự án linh hoạt (agile) chứ không riêng gì dữ liệu lớn: trong Scrum, Product Backlog là danh sách có thứ tự mọi yêu cầu, tính năng, cải tiến và sửa lỗi của sản phẩm, do Product Owner quản lý và sắp ưu tiên, nên yêu cầu khách hàng được ghi ở đó dưới dạng các mục backlog như user story. "In a database" chỉ nói tới phương tiện lưu trữ, không phải một artifact của Scrum; backlog có thể nằm trong công cụ có cơ sở dữ liệu nhưng câu hỏi hỏi artifact. "In a Scrum Product Requirement Specification" sai vì Scrum không định nghĩa tài liệu đặc tả yêu cầu kiểu này, ba artifact chuẩn là Product Backlog, Sprint Backlog và Increment. "Nowhere. The Scrum Product Owner knows them" sai vì Scrum đòi hỏi minh bạch, yêu cầu phải được ghi lại cho cả nhóm thấy chứ không nằm trong đầu một người.

Đáp án đúng: "Define the Problem". Trong giai đoạn tìm đúng vấn đề để giải quyết bằng khoa học dữ liệu, việc đầu tiên là định nghĩa vấn đề: phát biểu rõ vấn đề kinh doanh hay khoa học cần giải, phạm vi của nó và vì sao nó quan trọng, vì mọi bước sau đều dựa trên phát biểu này. Chỗ dễ tranh cãi là "Ask the Right Questions": đặt đúng câu hỏi là tinh thần chung xuyên suốt cả giai đoạn tìm vấn đề, nên nhiều người coi nó là bước khởi đầu, nhưng nó là cách làm áp dụng ở mọi bước chứ không phải một bước riêng đứng đầu; phải có vấn đề được định nghĩa thì mới biết câu hỏi nào là đúng. "Assess the Situation" là đánh giá nguồn lực, dữ liệu sẵn có, rủi ro và ràng buộc, chỉ làm được khi đã biết vấn đề là gì. "Define Goals" là đặt mục tiêu và tiêu chí thành công đo được, cũng đến sau khi vấn đề đã được định nghĩa.

Đáp án đúng: "Data science requires a variety of expertise in different fields.". Một dự án khoa học dữ liệu cần nhiều năng lực cùng lúc: hiểu biết nghiệp vụ để đặt đúng câu hỏi, thống kê và học máy để xây mô hình, kỹ thuật dữ liệu và lập trình để thu thập, xử lý trên hạ tầng dữ liệu lớn, cùng kỹ năng trình bày để truyền đạt kết quả; hiếm có một người giỏi đủ mọi mảng nên cần làm việc nhóm liên ngành. "Exhibition of curiosity is required." là phẩm chất cá nhân mà nhà khoa học dữ liệu nên có, một người đơn lẻ cũng tò mò được nên không giải thích nhu cầu làm theo nhóm. "Analytic solutions are required." chỉ nói dự án cần lời giải phân tích, không cho thấy vì sao phải nhiều người. "Engineering solutions are preferred." sai vì dự án không ưu tiên riêng giải pháp kỹ thuật; kỹ thuật chỉ là một trong nhiều mảng chuyên môn cần phối hợp.

Đáp án đúng: "Understand Nature of Data and Preliminary Analysis.". Bước chuẩn bị dữ liệu trong quy trình khoa học dữ liệu có hai phần: khám phá dữ liệu, tức là tìm hiểu bản chất của dữ liệu và phân tích sơ bộ bằng thống kê mô tả, biểu đồ, tìm tương quan, xu hướng và ngoại lệ; rồi tiền xử lý như làm sạch, xử lý thiếu, biến đổi. "Identify Data Sets and Query Data" thuộc bước thu thập (Acquire), là xác định nguồn và truy vấn lấy dữ liệu về, diễn ra trước khi chuẩn bị. "Retrieve Data" cũng là hoạt động của bước thu thập, chỉ kéo dữ liệu về chứ chưa tìm hiểu hay xử lý nó. "Build Models" thuộc bước phân tích (Analyze), là chọn kỹ thuật và dựng mô hình trên dữ liệu đã được chuẩn bị xong, nên đến sau bước chuẩn bị.