BDI302c - Phần 4: Mô hình dữ liệu lớn

Đáp án đúng: "Parquet". Parquet là định dạng lưu trữ theo cột (columnar) của hệ sinh thái Hadoop: giá trị của cùng một cột được đặt liền nhau, nén rất tốt vì cùng kiểu dữ liệu, và khi truy vấn chỉ cần vài cột thì hệ thống chỉ đọc đúng các cột đó, kèm thống kê theo khối để bỏ qua dữ liệu không thỏa điều kiện; vì vậy nó tối ưu cho tải đọc nhiều, phân tích nhiều, ghi một lần. "JSON" là định dạng văn bản bán cấu trúc lưu theo từng bản ghi, lặp lại tên trường ở mọi bản ghi và phải phân tích cú pháp toàn bộ khi đọc, nên chậm và tốn chỗ. "CSV" cũng là văn bản theo dòng, không có kiểu dữ liệu, không nén theo cột, muốn lấy một cột vẫn phải đọc hết từng dòng. "TXT" là văn bản thuần không có cấu trúc, không hỗ trợ đọc chọn lọc hay lược đồ nên kém nhất cho truy vấn phân tích.

Đáp án đúng: "Account Number should be unique". Câu dẫn bị cụt chữ, nhưng ý định là hỏi ràng buộc (constraint) nào đặt lên trường Account Number khi tổng hợp dữ liệu cuối năm: số tài khoản dùng để nhận diện từng người đăng ký, nên mỗi số chỉ được xuất hiện một lần trong tập tổng hợp, tức ràng buộc duy nhất (unique) giống một khoá. "Account should have at most n digits" là ràng buộc về độ dài, có thể tồn tại trong thiết kế nhưng không phải điều mà việc tổng hợp cuối năm dựa vào. "If we had n duplicate Account Numbers then we will remove n-1 duplicate fields" mô tả thao tác làm sạch (khử trùng lặp), là cách thực thi hệ quả của ràng buộc duy nhất chứ bản thân nó không phải ràng buộc. "There are no constraints" sai vì nếu trường này không có ràng buộc gì thì không thể dựa vào số tài khoản để gộp bản ghi của cùng một người; ghi chú về NULL chỉ nói cách lưu giá trị bị bỏ trống.

Đáp án đúng: "Trees take advantage of the parent-child relationship of the data for easy navigation". Dữ liệu bán cấu trúc như XML và JSON có tính lồng nhau: một phần tử XML chứa phần tử con, một đối tượng JSON chứa đối tượng hay mảng con, nên biểu diễn thành cây với quan hệ cha con là tự nhiên; nhờ đó có thể duyệt theo đường dẫn từ gốc xuống như XPath hay JSONPath, tìm cha, con, anh em của một nút. "Computers can easily visualize the data with a tree structure" nói về việc hiển thị, trong khi lợi ích cốt lõi là điều hướng và truy vấn theo cấu trúc chứ không phải vẽ cho đẹp. "It is not always the case that XML and JSON can be represented as trees" sai vì tài liệu XML hợp lệ và giá trị JSON đều có cấu trúc lồng nhau nên luôn biểu diễn được thành cây. Phương án cho rằng cây chỉ hữu ích với XML vì "JSON does not contain a tree-like structure as it contains arrays" sai vì mảng JSON chỉ là một nút có các con được đánh thứ tự, vẫn nằm trong cây.

Đáp án đúng: "Data is unbounded in size but requires only finite time and space to process it.". Dữ liệu luồng (streaming data) đến liên tục, không có điểm kết thúc nên kích thước không bị chặn (unbounded); hệ xử lý luồng không đợi gom đủ rồi mới tính mà xử lý từng phần tử hoặc từng cửa sổ (window) nhỏ khi nó tới và chỉ giữ một trạng thái gọn, nên mỗi bước tốn thời gian và bộ nhớ hữu hạn bất kể dòng dài bao nhiêu. "The data is finite and requires only finite time and space to process the data." mô tả dữ liệu tĩnh xử lý theo lô (batch), nơi tập dữ liệu có kích thước xác định từ trước. "The data is unbounded in size, and the size determines the time and space of processing the data." sai vì nếu chi phí tăng theo kích thước của một dòng vô hạn thì không hệ nào xử lý nổi; xử lý luồng tồn tại chính là để tách chi phí khỏi tổng kích thước. "Data is finite in size, and size determines the time and space of processing the data." là đặc trưng của xử lý theo lô truyền thống, khi thời gian chạy tăng theo dung lượng tập dữ liệu.

Đáp án đúng: "Union". Mỗi tháng tạo ra một lô dữ liệu có cùng các trường Name, Date, Address, Account Number, tức cùng lược đồ; gộp mười hai lô thành một tập cho cả năm là phép hợp (union), xếp các bản ghi của lô này nối dưới lô kia. Phép union theo nghĩa tập hợp, như UNION trong SQL khác với UNION ALL, còn loại các bản ghi trùng, đúng với yêu cầu bỏ những bản ghi lặp số tài khoản giữa các tháng. "Join" ghép các cột của hai bảng theo một khoá chung để mở rộng mỗi bản ghi, trong khi ở đây không có bảng nào bổ sung trường mới. "Subsetting" là lấy ra một tập con các bản ghi hoặc trường thoả điều kiện, không gộp nhiều lô lại. "Not an Operation" sai vì gộp các lô và khử trùng là một phép biến đổi dữ liệu thật sự.

Đáp án đúng: "The data does not necessarily need to be formatted in a way that represents the data model. Just so long as it can be extrapolated.". Data model (mô hình dữ liệu) mô tả ở mức logic cấu trúc, phép toán và ràng buộc của dữ liệu, còn format là cách dữ liệu được ghi xuống thực tế; cùng một mô hình có thể lưu theo nhiều định dạng, ví dụ một đồ thị có thể lưu dạng danh sách kề, ma trận kề hay tập bộ ba trong tệp văn bản, miễn là từ đó suy ra lại được cấu trúc của mô hình. Mảnh "always one specific schema for storing model data" sai vì không có một lược đồ lưu trữ duy nhất tối ưu cho mọi trường hợp; lựa chọn phụ thuộc vào cách truy vấn và hệ thống dùng. Mảnh "There is a one-to-one correspondence between formatting data and data modeling" sai vì quan hệ giữa mô hình và định dạng là một-nhiều, như ví dụ đồ thị ở trên. "None of the above" sai vì đã có một phương án mô tả đúng sự tách biệt giữa mô hình và định dạng.

Đáp án đúng: "Results can be ordered by similarity using vector projection.". Trong mô hình không gian vector (vector space model) cho dữ liệu văn bản, mỗi tài liệu và cả truy vấn được biểu diễn thành vector trọng số các từ, thường theo tf-idf; độ giống nhau được đo bằng hình chiếu của vector này lên vector kia, cụ thể là tích vô hướng chia cho tích độ dài, tức độ tương đồng cosine, nên kết quả tìm kiếm có thể xếp hạng từ giống nhất tới ít giống nhất. "Enables image searching." sai vì biểu diễn vector trong ngữ cảnh này nhằm tìm kiếm và xếp hạng văn bản; tìm ảnh cần trích đặc trưng ảnh riêng và không phải lý do điển hình. "Enables weighting of the query." chỉ là một khả năng phụ: có thể tăng trọng số cho từ quan trọng trong truy vấn, nhưng mục đích chính vẫn là đo tương đồng để xếp hạng. "The ability to normalize vectors, allowing probability distributions." sai vì chuẩn hoá vector về độ dài 1 là để so sánh cosine công bằng giữa văn bản dài và ngắn, không biến vector thành phân phối xác suất.

Đáp án đúng: "Data is unbounded in size but requires only finite time and space to process it.". Dữ liệu luồng (streaming data) đến liên tục, không có điểm kết thúc nên kích thước không bị chặn (unbounded); vì không thể đợi gom đủ rồi mới tính, hệ xử lý luồng xử lý từng phần tử hoặc từng cửa sổ (window) nhỏ khi nó tới và chỉ giữ một trạng thái gọn, nên mỗi bước tốn thời gian và bộ nhớ hữu hạn dù dòng dài bao nhiêu. "The data is unbounded in size and the size determines the time and space of processing the data." sai vì nếu chi phí tăng theo kích thước của một dòng vô hạn thì không hệ nào xử lý nổi; xử lý luồng ra đời chính để tách chi phí khỏi tổng kích thước. "The data is finite and requires only finite time and space to process the data." mô tả một tập dữ liệu tĩnh có kích thước biết trước, không phải dòng liên tục. "Data is finite in size and size determines the time and space of processing the data." là đặc trưng của xử lý theo lô (batch) truyền thống, khi thời gian chạy tăng theo dung lượng tập dữ liệu.

Đáp án đúng: "Data that lacks a predefined data model and does not fit well into relational databases.". Dữ liệu phi cấu trúc là dữ liệu không có mô hình dữ liệu định nghĩa trước, như văn bản tự do, email, ảnh, âm thanh, video; nó không chia sẵn thành hàng và cột nên không đặt vừa bảng của cơ sở dữ liệu quan hệ và phải dùng kỹ thuật như xử lý ngôn ngữ tự nhiên hay thị giác máy để rút thông tin. Phương án "organized into rows and columns, typically stored in spreadsheets" mô tả dữ liệu có cấu trúc dạng bảng, ngược với phi cấu trúc. Phương án "follows a strict schema with defined relationships between entities" cũng là dữ liệu có cấu trúc trong cơ sở dữ liệu quan hệ với lược đồ và khoá ngoại. Phương án "Data stored in a hierarchical format, often used in XML files." là dữ liệu bán cấu trúc: không có lược đồ cứng nhưng có thẻ và quan hệ cha con, nên vẫn có cấu trúc nhất định.

Đáp án đúng: "The organization of data elements and relationships within the file". Mô hình dữ liệu (data model) mô tả cấu trúc của dữ liệu: gồm những phần tử nào, mỗi phần tử có kiểu gì, liên hệ với nhau ra sao, cùng các ràng buộc và phép toán trên chúng. Với tệp CSV, mô hình dữ liệu là cách tổ chức thành các dòng bản ghi, các cột trường ngăn bởi dấu phẩy, dòng tiêu đề đặt tên cột và quan hệ giữa các giá trị trong một bản ghi. "The specific file format used to store data" chỉ là định dạng vật lý ở tầng lưu trữ; cùng một mô hình bảng có thể lưu dưới CSV, Parquet hay bảng SQL. "The process of converting data into a different format" là chuyển đổi định dạng, một thao tác trên dữ liệu chứ không phải mô hình. "The way data is displayed to end-users" là tầng trình bày, phụ thuộc giao diện chứ không phản ánh cấu trúc của dữ liệu.

Đáp án đúng: "Trees take advantage of the parent-child relationship of the data for easy navigation.". Dữ liệu bán cấu trúc như XML và JSON có tính lồng nhau: phần tử XML chứa phần tử con, đối tượng JSON chứa đối tượng hay mảng con; mô hình cây biểu diễn đúng quan hệ cha–con đó, nên có thể duyệt theo đường dẫn từ gốc xuống, như XPath với XML hay ký pháp dấu chấm với JSON, và truy vấn cha, con, anh em một cách tự nhiên. "Computers can easily visualize the data with a tree structure." sai vì lý do dùng cây là để mô hình hoá và truy vấn, không phải để máy tính vẽ hình. "It is not always the case that XML and JSON can be represented as trees." sai vì mọi tài liệu XML hợp lệ và mọi giá trị JSON đều có cấu trúc lồng nhau biểu diễn được thành cây. "They are only useful for XML data, as a tree-like structure is apparent with tags. While JSON does not contain a tree-like structure as it contains arrays." sai vì mảng JSON chỉ là một nút có các con được đánh thứ tự, nên JSON vẫn là cây như XML.