Câu hỏi: BDI302c Dữ liệu lớn – Bộ ôn tập cuối kỳ số 1

Đáp án đúng: "Algorithm Prediction". Học máy thường được chia theo loại bài toán: phân loại (classification) dự đoán nhãn rời rạc, hồi quy (regression) dự đoán giá trị số, phân tích cụm (cluster analysis) gom các mẫu giống nhau khi không có nhãn, và phân tích kết hợp (association analysis) tìm các mục hay xuất hiện cùng nhau. "Algorithm Prediction" không phải tên một nhóm bài toán nào; dự đoán là việc mà nhiều loại mô hình làm, còn thuật toán là công cụ chứ không phải một hạng mục. Câu hỏi dạng NOT nên bốn hạng mục thật không được chọn: "Cluster Analysis" là học không giám sát, ví dụ k-means chia khách hàng thành nhóm; "Classification" là học có giám sát với nhãn lớp, như kNN, cây quyết định, naive Bayes; "Regression" là học có giám sát với đầu ra liên tục, như dự đoán giá nhà; "Association Analysis" tìm luật dạng mua bánh mì thì mua bơ, đo bằng support và confidence.

Đáp án đúng: "Parquet". Parquet là định dạng lưu trữ theo cột (columnar) của hệ sinh thái Hadoop: giá trị của cùng một cột được đặt liền nhau, nén rất tốt vì cùng kiểu dữ liệu, và khi truy vấn chỉ cần vài cột thì hệ thống chỉ đọc đúng các cột đó, kèm thống kê theo khối để bỏ qua dữ liệu không thỏa điều kiện; vì vậy nó tối ưu cho tải đọc nhiều, phân tích nhiều, ghi một lần. "JSON" là định dạng văn bản bán cấu trúc lưu theo từng bản ghi, lặp lại tên trường ở mọi bản ghi và phải phân tích cú pháp toàn bộ khi đọc, nên chậm và tốn chỗ. "CSV" cũng là văn bản theo dòng, không có kiểu dữ liệu, không nén theo cột, muốn lấy một cột vẫn phải đọc hết từng dòng. "TXT" là văn bản thuần không có cấu trúc, không hỗ trợ đọc chọn lọc hay lược đồ nên kém nhất cho truy vấn phân tích.

Đáp án đúng: "Data lakes house raw data while data warehouses contain pre-formatted data.". Data lake (hồ dữ liệu) chứa dữ liệu ở dạng thô, nguyên trạng như khi thu về, cấu trúc chỉ được áp khi đọc (schema-on-read); data warehouse (kho dữ liệu) chứa dữ liệu đã được làm sạch, chuyển đổi và định dạng theo lược đồ cố định trước khi nạp (schema-on-write) để phục vụ báo cáo và truy vấn phân tích. "Data lakes utilize hierarchical systems while data warehouses use object storage." nói gần như ngược: hồ dữ liệu hay đặt trên kho đối tượng phẳng hoặc HDFS, còn kho dữ liệu tổ chức theo bảng quan hệ. "Data lakes contain only files, while data warehouses contain only databases." sai vì chữ only quá tuyệt đối: hồ dữ liệu chứa cả bảng, log, ảnh, và kho dữ liệu cũng không chỉ là một cơ sở dữ liệu. "None of the above." sai vì đã có một phương án mô tả đúng khác biệt cốt lõi.

Đáp án đúng: "An index table in order to keep track of a given data type that might exist within multiple machines.". Trong hệ quản lý dữ liệu lớn phân tán, dữ liệu được chia mảnh (partition) ra nhiều máy; chỉ mục cục bộ (local index) chỉ biết bản ghi nằm đâu trong một máy, nên muốn tìm theo một thuộc tính phải hỏi tất cả các máy. Bảng chỉ mục toàn cục (global indexing table) ghi lại một loại dữ liệu hay một giá trị khoá có thể nằm ở những máy nào trong cụm, nhờ đó truy vấn được chuyển thẳng tới đúng các nút cần thiết. "A global table that uses a specific technique called indexing and the table uses an index as the primary key." sai vì chỉ diễn giải chữ nghĩa của cái tên; dùng chỉ mục làm khoá chính là chuyện của bảng nào cũng có, không nói lên vai trò theo dõi dữ liệu xuyên nhiều máy. "An index table in order to keep track of data records within one machine." mô tả chỉ mục cục bộ thông thường của một máy. "An index table in order to keep track of a given data type that might exist within one machine." cũng giới hạn trong một máy, nên mất đúng tính toàn cục là phạm vi của cả cụm.

Đáp án đúng: "HBase". HBase là cơ sở dữ liệu NoSQL họ cột (wide-column), mô phỏng Bigtable của Google và chạy trên HDFS: dữ liệu được tổ chức theo khoá hàng, các họ cột (column family) được lưu riêng, mỗi hàng có thể có số cột khác nhau, phù hợp truy cập ngẫu nhiên đọc ghi theo thời gian thực trên bảng rất lớn. "MongoDB" là cơ sở dữ liệu hướng tài liệu (document), lưu bản ghi dạng BSON giống JSON lồng nhau, không tổ chức theo họ cột. "Redis" là kho key-value trong bộ nhớ, ánh xạ khoá tới giá trị hoặc cấu trúc như danh sách, tập hợp, dùng nhiều cho bộ đệm và hàng đợi. "Neo4j" là cơ sở dữ liệu đồ thị, lưu nút, quan hệ và thuộc tính, truy vấn bằng Cypher, mạnh ở bài toán đi theo quan hệ chứ không phải lưu trữ theo cột.

Đáp án đúng: "Business Objectives". Một chiến lược dữ liệu lớn phải bắt đầu từ câu hỏi doanh nghiệp muốn đạt điều gì: tăng doanh thu, giảm khách hàng rời bỏ hay tối ưu vận hành. Chỉ khi mục tiêu kinh doanh rõ ràng mới biết cần dữ liệu gì, phân tích gì và đo thành công bằng chỉ số nào; thiếu bước này, các bước sau dễ thành đầu tư công nghệ không có đích. "Organizational Buy-In" (sự ủng hộ của tổ chức, nhất là từ lãnh đạo) rất quan trọng nhưng muốn thuyết phục được ai thì trước hết phải có mục tiêu để trình bày. "Build In-House Expertise" là xây đội ngũ chuyên môn nội bộ, làm sau khi đã biết mục tiêu đòi hỏi kỹ năng nào. "Collect Data" là bước thu thập, cần được dẫn dắt bởi mục tiêu để không gom tràn lan dữ liệu vô ích.

Đáp án đúng: "Fast and Simple". Dữ liệu dòng (streaming data) đến liên tục và không có điểm kết thúc, nên thuật toán phân tích dòng phải xử lý mỗi phần tử ngay khi nó tới, thường chỉ nhìn một lần, với thời gian rất ngắn để theo kịp tốc độ dữ liệu đổ vào; vì vậy chúng được thiết kế nhanh và đơn giản, chẳng hạn đếm, cộng dồn hay cập nhật cửa sổ trượt. "Accurate and Consistent" không đúng vì phân tích dòng thường chấp nhận kết quả xấp xỉ để đổi lấy tốc độ, và dữ liệu có thể đến trễ, sai thứ tự. "Fast and Complex" tự mâu thuẫn: thuật toán phức tạp tốn nhiều phép tính trên mỗi phần tử nên không theo kịp dòng. "Accurate and Memory Efficient" đúng một nửa, vì tiết kiệm bộ nhớ quả là yêu cầu khi không thể lưu cả dòng, nhưng chính xác tuyệt đối thường phải hy sinh, nên đây không phải đặc trưng được nêu.

Đáp án đúng: "MySQL". MySQL là hệ quản trị cơ sở dữ liệu quan hệ (RDBMS): dữ liệu tổ chức thành bảng có lược đồ cố định, truy vấn bằng SQL, giao dịch tuân theo ACID, và thường mở rộng theo chiều dọc bằng máy mạnh hơn. Câu hỏi dạng NOT nên những hệ NoSQL thật không được chọn: "MongoDB" là cơ sở dữ liệu hướng tài liệu (document store), lưu bản ghi dạng BSON giống JSON với lược đồ linh hoạt; "HBase" là kho dữ liệu dạng cột rộng (wide-column) chạy trên HDFS, mô phỏng Bigtable của Google, cho đọc ghi ngẫu nhiên theo khoá hàng; "Cassandra" cũng là cơ sở dữ liệu cột rộng, phân tán ngang hàng không có nút chủ, ưu tiên tính sẵn sàng và nhất quán sau cùng (eventual consistency).

Đáp án đúng: "Facebook reveals posts that cater towards similar interests.". Tiếp thị cá nhân hoá dựa trên dữ liệu lớn nghĩa là hệ thống tự thu thập lượng lớn dấu vết hành vi của từng người như lượt thích, bình luận, thời gian xem, mạng bạn bè, rồi dùng mô hình gợi ý để chọn nội dung hợp với sở thích riêng của người đó; bảng tin Facebook ưu tiên bài viết tương tự những gì người dùng đã tương tác là ví dụ điển hình. "News outlets gather information from the internet to report it to the public." là hoạt động báo chí đưa cùng một tin cho mọi người, không phải tiếp thị và không nhắm tới từng cá nhân. "A survey that asks your age and markets a specific brand to you." chỉ dựa vào một thuộc tính nhân khẩu do người dùng tự khai, tức là phân khúc theo nhóm tuổi kiểu truyền thống chứ không khai thác dữ liệu hành vi quy mô lớn. "Survey collecting age for brand-specific marketing." diễn đạt lại đúng ý trên, cũng là khảo sát nhỏ theo nhóm tuổi nên cũng không phải cá nhân hoá bằng dữ liệu lớn.

Đáp án đúng: "Euler". Lý thuyết đồ thị khởi đầu năm 1736 khi Leonhard Euler giải bài toán bảy cây cầu Königsberg: ông mô hình hoá mỗi vùng đất là một đỉnh, mỗi cây cầu là một cạnh, rồi chứng minh không thể đi qua mỗi cầu đúng một lần vì có quá nhiều đỉnh bậc lẻ. Cách trừu tượng hoá thành đỉnh và cạnh đó là nền móng của phân tích đồ thị dùng trong dữ liệu lớn hôm nay, từ mạng xã hội tới định tuyến đường đi. "Einstein" nổi tiếng với thuyết tương đối trong vật lý, không liên quan tới đồ thị. "Newton" đặt nền cho cơ học cổ điển và giải tích, sống trước Euler nhưng không xây dựng lý thuyết đồ thị. "Darwin" là nhà sinh học với thuyết tiến hoá bằng chọn lọc tự nhiên.

Đáp án đúng: "Account Number should be unique". Câu dẫn bị cụt chữ, nhưng ý định là hỏi ràng buộc (constraint) nào đặt lên trường Account Number khi tổng hợp dữ liệu cuối năm: số tài khoản dùng để nhận diện từng người đăng ký, nên mỗi số chỉ được xuất hiện một lần trong tập tổng hợp, tức ràng buộc duy nhất (unique) giống một khoá. "Account should have at most n digits" là ràng buộc về độ dài, có thể tồn tại trong thiết kế nhưng không phải điều mà việc tổng hợp cuối năm dựa vào. "If we had n duplicate Account Numbers then we will remove n-1 duplicate fields" mô tả thao tác làm sạch (khử trùng lặp), là cách thực thi hệ quả của ràng buộc duy nhất chứ bản thân nó không phải ràng buộc. "There are no constraints" sai vì nếu trường này không có ràng buộc gì thì không thể dựa vào số tài khoản để gộp bản ghi của cùng một người; ghi chú về NULL chỉ nói cách lưu giá trị bị bỏ trống.

Đáp án đúng: "Resilient Distributed Dataset". RDD là trừu tượng dữ liệu cốt lõi của Spark: Resilient (bền bỉ) vì mỗi RDD ghi lại dòng dõi (lineage) các phép biến đổi đã tạo ra nó, nên phân vùng bị mất có thể tính lại thay vì phải sao lưu; Distributed (phân tán) vì dữ liệu chia thành các phân vùng nằm trên nhiều nút của cụm; Dataset vì nó là tập bản ghi bất biến, được thao tác qua transformation như map, filter và action như count, collect. "Real Data Design" không phải thuật ngữ của Spark và không nói gì về khả năng chịu lỗi hay phân tán. "Remote Data Design" cũng không tồn tại; dữ liệu của RDD nằm ngay trên các executor của cụm chứ không phải một thiết kế dữ liệu từ xa. "Relational Data Dump" sai vì RDD không có lược đồ quan hệ và không phải bản kết xuất (dump) từ cơ sở dữ liệu; dữ liệu có cấu trúc theo cột là phạm vi của DataFrame trong Spark SQL.

Đáp án đúng: "Trees take advantage of the parent-child relationship of the data for easy navigation". Dữ liệu bán cấu trúc như XML và JSON có tính lồng nhau: một phần tử XML chứa phần tử con, một đối tượng JSON chứa đối tượng hay mảng con, nên biểu diễn thành cây với quan hệ cha con là tự nhiên; nhờ đó có thể duyệt theo đường dẫn từ gốc xuống như XPath hay JSONPath, tìm cha, con, anh em của một nút. "Computers can easily visualize the data with a tree structure" nói về việc hiển thị, trong khi lợi ích cốt lõi là điều hướng và truy vấn theo cấu trúc chứ không phải vẽ cho đẹp. "It is not always the case that XML and JSON can be represented as trees" sai vì tài liệu XML hợp lệ và giá trị JSON đều có cấu trúc lồng nhau nên luôn biểu diễn được thành cây. Phương án cho rằng cây chỉ hữu ích với XML vì "JSON does not contain a tree-like structure as it contains arrays" sai vì mảng JSON chỉ là một nút có các con được đánh thứ tự, vẫn nằm trong cây.

Đáp án đúng: "Data is unbounded in size but requires only finite time and space to process it.". Dữ liệu luồng (streaming data) đến liên tục, không có điểm kết thúc nên kích thước không bị chặn (unbounded); hệ xử lý luồng không đợi gom đủ rồi mới tính mà xử lý từng phần tử hoặc từng cửa sổ (window) nhỏ khi nó tới và chỉ giữ một trạng thái gọn, nên mỗi bước tốn thời gian và bộ nhớ hữu hạn bất kể dòng dài bao nhiêu. "The data is finite and requires only finite time and space to process the data." mô tả dữ liệu tĩnh xử lý theo lô (batch), nơi tập dữ liệu có kích thước xác định từ trước. "The data is unbounded in size, and the size determines the time and space of processing the data." sai vì nếu chi phí tăng theo kích thước của một dòng vô hạn thì không hệ nào xử lý nổi; xử lý luồng tồn tại chính là để tách chi phí khỏi tổng kích thước. "Data is finite in size, and size determines the time and space of processing the data." là đặc trưng của xử lý theo lô truyền thống, khi thời gian chạy tăng theo dung lượng tập dữ liệu.

Đáp án đúng: "All of the others". Trong Apache Spark, DataFrame được xây trên nền RDD (Resilient Distributed Dataset, tập dữ liệu phân tán có khả năng phục hồi) nên thừa hưởng cả ba tính chất. "Immutability" đúng: cả RDD lẫn DataFrame đều bất biến, mỗi phép biến đổi như map hay filter tạo ra đối tượng mới thay vì sửa đối tượng cũ. "In-memory" đúng: cả hai được tính toán và có thể lưu đệm (cache) trong bộ nhớ RAM của các executor, giúp nhanh hơn nhiều so với đọc ghi đĩa như MapReduce. "Resilient" đúng: khi một phân vùng bị mất do máy hỏng, Spark dựng lại nó từ lineage (chuỗi phép biến đổi đã ghi lại) mà không cần sao lưu toàn bộ dữ liệu. Vì cả ba đều là điểm chung, chọn riêng một tính chất là chưa đủ.

Đáp án đúng: "The $match operator". Trong aggregation pipeline (đường ống tổng hợp) của MongoDB, $match là giai đoạn lọc tài liệu: nó nhận điều kiện theo cú pháp truy vấn giống find, chỉ cho những tài liệu thoả điều kiện đi tiếp sang các giai đoạn sau, và nên đặt sớm để tận dụng chỉ mục, giảm khối lượng xử lý. "The $filter function" là toán tử biểu thức dùng bên trong một giai đoạn như $project để lọc các phần tử của một mảng trong từng tài liệu, chứ không lọc chính các tài liệu. "The $lookup operator" thực hiện phép nối kiểu left outer join với một collection khác để ghép thêm dữ liệu. "The $group operator" gom tài liệu theo khoá _id và tính các giá trị tổng hợp như $sum, $avg, tương tự GROUP BY trong SQL, nên không phải công cụ lọc.

Đáp án đúng: "Through two events: 'end' and 'start'". Trong bộ dữ liệu giả lập trò chơi Catch the Pink Flamingo, nhật ký cấp độ của đội ghi mỗi phiên chơi theo cặp sự kiện; khi đội lên cấp, phiên ở cấp cũ được đóng bằng một sự kiện kết thúc và phiên ở cấp mới được mở bằng một sự kiện bắt đầu, nên việc lên cấp hiện ra qua hai sự kiện liên tiếp end rồi start thay vì một bản ghi riêng mang tên lên cấp. "A sessionType of 'levelup'" sai vì không có loại phiên nào tên như vậy, kiểu sự kiện chỉ là bắt đầu hoặc kết thúc. "Using 'ad-clicks.csv'" sai vì tệp đó ghi lượt người chơi bấm vào quảng cáo, phục vụ phân tích doanh thu, không liên quan đến cấp độ của đội. "With 'platformType' changed to 'upgrade'" sai vì trường platformType mô tả nền tảng thiết bị người chơi dùng như điện thoại hay máy tính, không có giá trị nâng cấp và không mang thông tin cấp độ.

Đáp án đúng gồm bốn ý: "In-memory processing", "Faster execution", "Support for multiple languages" và "Low latency for iterative algorithms". Apache Spark giữ dữ liệu trung gian trong bộ nhớ dưới dạng RDD (Resilient Distributed Dataset, tập dữ liệu phân tán có khả năng phục hồi) thay vì ghi xuống đĩa HDFS sau mỗi bước như MapReduce; nhờ đó tác vụ chạy nhanh hơn nhiều lần, và các thuật toán lặp như học máy hay PageRank, vốn đọc lại cùng dữ liệu qua nhiều vòng, có độ trễ thấp. Spark còn cung cấp API cho Scala, Java, Python, R cùng shell tương tác, trong khi MapReduce gắn chủ yếu với Java. "Higher fault tolerance" không phải ưu thế: MapReduce chịu lỗi bằng cách chạy lại tác vụ trên dữ liệu đã ghi đĩa, Spark tính lại phân vùng mất nhờ lineage (dòng dõi biến đổi), mức chịu lỗi tương đương chứ không cao hơn. "Batch-only processing" ngược thực tế, vì Spark xử lý được cả lô, luồng, SQL và đồ thị; chỉ xử lý theo lô lại là hạn chế của MapReduce.

Đáp án đúng: "Data produced from an organization that is spread out. Bad because it creates unsynchronized and invisible data". Data silo (ốc đảo dữ liệu) là tình trạng dữ liệu của một tổ chức nằm rải rác ở từng phòng ban, từng hệ thống riêng, không được kết nối; hậu quả là các bản sao không đồng bộ với nhau và phần lớn dữ liệu vô hình với những bộ phận khác, nên tổ chức không có cái nhìn tổng thể. "A giant centralized database to house all the data production within an organization. Bad because it hinders opportunity for data generation" mô tả một kho tập trung, tức điều ngược lại với silo, và kho tập trung cũng không cản việc sinh dữ liệu. Mảnh "Bad because it is hard to maintain as highly structured data" cũng nói về kho tập trung, là giải pháp người ta hướng tới để phá silo chứ không phải bản thân silo. "Highly unstructured data. Bad because it does not provide meaningful results for organizations" nhầm silo với dữ liệu phi cấu trúc; dữ liệu phi cấu trúc vẫn khai thác được và silo có thể toàn bảng có cấu trúc.