Câu hỏi: BDI302c Dữ liệu lớn – Bộ ôn tập cuối kỳ số 1

Đáp án đúng: "To impose properties on a BDMS in order to guarantee certain results.". BASE gồm Basically Available (cơ bản luôn sẵn sàng), Soft state (trạng thái mềm, có thể thay đổi kể cả khi không có thao tác ghi) và Eventual consistency (nhất quán sau cùng); đó là bộ tính chất mà một hệ quản lý dữ liệu lớn (BDMS) cam kết với người dùng, tức hệ bảo đảm được những kết quả nào khi chạy trên cụm phân tán. Chỗ hay gây tranh cãi là "To overcome the CAP theorem.": BASE đúng là ra đời vì định lý CAP, vốn nói hệ phân tán khi bị phân mảnh mạng không thể vừa nhất quán vừa sẵn sàng, nhưng CAP là giới hạn không vượt qua được; BASE chỉ là cách chấp nhận giới hạn đó, chọn sẵn sàng và nới lỏng nhất quán, nên nói BASE vượt qua CAP là sai về bản chất. "Enables stricter enforcement of ACID type design." sai vì BASE nới lỏng chứ không siết chặt các bảo đảm kiểu ACID. "The same as ACID." sai vì ACID đòi nhất quán chặt cho mỗi giao dịch, còn BASE chấp nhận dữ liệu tạm lệch giữa các bản sao rồi hội tụ dần.

Đáp án đúng: "a node which can reach all other nodes quickly". Trong phân tích mạng, người có ảnh hưởng (influencer) được hiểu là nút có vị trí cho phép thông tin từ nó lan tới mọi nút khác qua ít bước nhất; điều này gắn với độ trung tâm gần (closeness centrality), đo bằng nghịch đảo tổng khoảng cách ngắn nhất từ nút đó tới mọi nút còn lại, khoảng cách càng nhỏ thì ảnh hưởng lan càng nhanh. "the biggest gossip in the network" là cách nói dân dã về người nói nhiều nhất, nhưng gửi nhiều thông điệp không bảo đảm thông điệp tới được cả mạng nhanh, nên không phải định nghĩa dựa trên cấu trúc đồ thị. "a node which has heavy weight edges to at least 1/2 of the nodes in the network" đặt ra ngưỡng một nửa số nút và trọng số cạnh lớn một cách tùy tiện; một nút có thể nối mạnh với nhiều nút lân cận mà vẫn ở xa phần còn lại của mạng, nên tiêu chí này không phản ánh khả năng lan tỏa.

Đáp án đúng: "Compare and weigh each source by their trustworthiness.". Khi có quá nhiều nguồn dữ liệu cho cùng một thông tin, các nguồn thường mâu thuẫn nhau; cách xử lý là đánh giá độ tin cậy của từng nguồn, chẳng hạn dựa vào mức nguồn đó khớp với các nguồn khác hoặc lịch sử chính xác của nó, rồi gán trọng số để giá trị từ nguồn uy tín được ưu tiên khi hợp nhất. Đây là bài toán gắn với Veracity (độ xác thực) của dữ liệu. "Randomly select a sample of sources to represent the various data sources." bỏ qua chất lượng: chọn ngẫu nhiên có thể giữ đúng các nguồn kém và loại mất nguồn tốt. "Take less samples per tick." là kỹ thuật giảm tần suất lấy mẫu của dữ liệu luồng, nhằm hạ Velocity của một nguồn chứ không giải quyết việc có quá nhiều nguồn. "None, the more the better." sai vì thêm nguồn mà không có cơ chế đánh giá chỉ làm tăng xung đột và nhiễu.

Đáp án đúng: "Impure split". Chỉ số Gini của một nút trong cây quyết định tính bằng 1 trừ tổng bình phương tỉ lệ các lớp; nút chỉ chứa một lớp có Gini bằng 0, còn hai lớp chia đều thì Gini đạt cực đại 0,5. Gini càng cao thì các lớp càng trộn lẫn, nghĩa là phép tách tạo ra nút không thuần (impure), và thuật toán như CART sẽ chọn phép tách làm giảm Gini nhiều nhất. "Pure split" ngược lại: tách thuần cho Gini bằng 0 hoặc rất thấp. "Perfect classification" cũng ứng với các nút lá thuần, Gini bằng 0. "Equal class balance" đúng là hoàn cảnh khiến Gini một nút đạt cực đại, nhưng điều chỉ số báo cho người xây cây là phép tách chưa tách được lớp, tức mức độ không thuần; cân bằng lớp của cả tập dữ liệu là chuyện khác mà câu hỏi không hỏi.

Đáp án đúng: "Aggregates output". Trong MapReduce, hàm map biến mỗi bản ghi đầu vào thành các cặp khoá–giá trị trung gian; sau pha shuffle and sort, mọi giá trị cùng khoá được gom về một reducer, và hàm reduce tổng hợp danh sách giá trị đó thành kết quả cuối, ví dụ trong bài đếm từ nó cộng các số 1 của cùng một từ để ra tổng số lần xuất hiện. "Sorts input" sai vì việc sắp xếp theo khoá do framework làm trong pha shuffle and sort, trước khi reduce được gọi, chứ không phải nhiệm vụ của hàm reduce. "Maps keys to values" là mô tả của hàm map, bước sinh ra các cặp khoá–giá trị. "Stores data" sai vì lưu trữ thuộc về HDFS; reduce chỉ ghi kết quả của nó ra hệ thống tệp ở bước cuối, bản thân nó là phép tính tổng hợp.

Đáp án đúng: "Marketing to each customer on an individual level and suiting to their needs". Dữ liệu lớn cho phép gom lịch sử mua, lượt xem, vị trí, tương tác mạng xã hội của từng khách hàng và dùng mô hình để đưa ra sản phẩm, giá hay thông điệp riêng cho đúng người đó, tức là tiếp thị ở mức một khách hàng chứ không theo phân khúc chung. "Being able to use the data from each customer for marketing needs" chỉ nói tới việc dùng dữ liệu cho tiếp thị nói chung mà thiếu ý cốt lõi là điều chỉnh theo nhu cầu riêng từng người; dùng dữ liệu để thống kê tổng thể cũng thỏa câu này mà không hề cá nhân hoá. "Being able to obtain and use customer information for specific groups and utilize them for marketing needs" mô tả tiếp thị theo phân khúc (segmentation), nhắm tới nhóm khách hàng có đặc điểm chung, đúng là có ích nhưng là cấp độ thô hơn cá nhân hoá mà câu hỏi đang hỏi.

Đáp án đúng: "Different data types". Variety (tính đa dạng) trong mô hình các chữ V của dữ liệu lớn chỉ sự khác nhau về kiểu và định dạng dữ liệu: bảng có cấu trúc, JSON hay XML bán cấu trúc, văn bản, ảnh, video, âm thanh, dữ liệu cảm biến phi cấu trúc; chính sự đa dạng này buộc hệ thống phải có cách lưu trữ và tích hợp linh hoạt hơn cơ sở dữ liệu quan hệ. "Size of data" là Volume (khối lượng), nói về dung lượng khổng lồ tính bằng terabyte, petabyte. "Speed of data" là Velocity (tốc độ), nói về dữ liệu sinh ra và cần xử lý nhanh, gần thời gian thực. "Accuracy of data" thuộc về Veracity (độ xác thực), nói về mức tin cậy, độ nhiễu và sai lệch của dữ liệu.

Đáp án đúng: "A compressed list that is stored within the value of the database.". Trong Redis, ziplist là một cách mã hoá nội bộ gọn nhẹ: các phần tử của một danh sách, hash hay sorted set nhỏ được xếp liền nhau trong một khối bộ nhớ liên tục, không dùng con trỏ, và khối đó chính là giá trị gắn với khoá; nhờ vậy tiết kiệm bộ nhớ đáng kể. Khi số phần tử hay độ dài phần tử vượt ngưỡng cấu hình, Redis chuyển sang cấu trúc thường; các bản Redis mới thay ziplist bằng listpack cùng ý tưởng. Mảnh "store hashes that point to multiple attributes" mô tả kiểu Hash, còn ziplist không phải kiểu dữ liệu riêng mà là cách lưu bên trong. Mảnh "store up to 512 mb of image data" lấy giới hạn 512 MB của giá trị String, không liên quan ziplist. Mảnh "Look up table points to actual values in memory" mô tả bảng băm dùng con trỏ, đúng kiểu cấu trúc mà ziplist được tạo ra để tránh.

Đáp án đúng: "The language specifies what data to obtain.". Ngôn ngữ truy vấn khai báo (declarative) như SQL, HiveQL hay Cypher chỉ yêu cầu người dùng mô tả kết quả muốn có: lấy cột nào, từ bảng nào, thoả điều kiện gì; còn cách lấy, như dùng chỉ mục nào, nối theo thứ tự nào, chạy song song ra sao, do bộ tối ưu truy vấn của hệ thống tự quyết. "The language specifies the process of how to obtain the data." là định nghĩa của ngôn ngữ thủ tục hay mệnh lệnh (imperative), nơi người viết phải chỉ ra từng bước như vòng lặp duyệt bản ghi. "The language specifies both the process of how to obtain the data and specifies what data to obtain." sai vì tinh thần khai báo chính là không bắt người dùng nêu quy trình. "A language specific declaration of data types in order to define the method of data retrieval." chỉ chơi chữ với từ declaration; khai báo kiểu dữ liệu là việc định nghĩa lược đồ, không phải đặc điểm của ngôn ngữ truy vấn khai báo.

Đáp án đúng: "Size of data". Trong mô hình các chữ V của dữ liệu lớn, Volume (khối lượng) chỉ quy mô dữ liệu khổng lồ, tính bằng terabyte, petabyte trở lên, vượt khả năng lưu và xử lý của một máy đơn lẻ, buộc phải dùng lưu trữ phân tán như HDFS và xử lý song song. "Speed of data" là Velocity (tốc độ), nói về dữ liệu sinh ra và cần xử lý liên tục, nhanh như dòng sự kiện cảm biến hay giao dịch, chứ không nói tới độ lớn. "Type of data" là Variety (đa dạng), chỉ sự khác biệt về định dạng và cấu trúc như bảng quan hệ, văn bản, ảnh, đồ thị, JSON. "Accuracy of data" là Veracity (độ tin cậy), nói về chất lượng, độ chính xác và mức không chắc chắn của dữ liệu, vốn có thể kém dù dữ liệu nhỏ hay lớn.

Đáp án đúng: "Divide the sum of the diagonal values in the confusion matrix by the total number of samples.". Ma trận nhầm lẫn (confusion matrix) xếp số mẫu theo lớp thật và lớp dự đoán; các ô trên đường chéo chính là những mẫu được dự đoán đúng lớp, các ô ngoài đường chéo là dự đoán sai. Độ chính xác (accuracy) bằng số dự đoán đúng chia tổng số mẫu: ví dụ ma trận hai lớp có đường chéo 50 và 40, ngoài chéo 6 và 4, thì accuracy bằng 90 chia 100, tức 0,9. "Divide the sum of the diagonal values in the confusion matrix by the sum of the off-diagonal values." chia số đúng cho số sai, ra tỷ số đúng trên sai (trong ví dụ là 90 chia 10 bằng 9) chứ không phải tỷ lệ đúng. "Divide the sum of all the values in the confusion matrix by the total number of samples." luôn bằng 1 vì tổng mọi ô chính là tổng số mẫu. "Divide the sum of the off-diagonal values in the confusion matrix by the total number of samples." cho tỷ lệ lỗi (error rate), bằng 1 trừ accuracy, tức 0,1 trong ví dụ.

Đáp án đúng: "df['sales'].mean()". Trong Pandas, df['sales'] chọn cột sales của DataFrame và trả về một Series; Series có phương thức mean() tính trung bình cộng các giá trị, mặc định bỏ qua giá trị thiếu NaN, nên df['sales'].mean() là cú pháp đúng và gọn nhất. "mean(df['sales'])" sai vì Python không có hàm dựng sẵn tên mean; muốn gọi dạng hàm phải ghi rõ thư viện như np.mean(df['sales']) hoặc statistics.mean, còn viết trần sẽ báo NameError. "df mean('sales')" sai cú pháp vì thiếu dấu chấm để truy cập phương thức, và kể cả viết df.mean('sales') thì đối số đầu của DataFrame.mean là trục (axis) chứ không phải tên cột. "sales mean()" sai vì sales không phải một biến tồn tại riêng mà chỉ là tên cột bên trong df, lại cũng thiếu dấu chấm.

Đáp án đúng: "Low level deals with storage and scheduling while high level deals with interactivity". Hệ sinh thái Hadoop được nhìn như các tầng: tầng thấp lo hạ tầng gồm lưu trữ phân tán (HDFS) và quản lý, lập lịch tài nguyên (YARN), còn tầng cao gồm các giao diện người dùng tương tác trực tiếp như Hive với truy vấn kiểu SQL, Pig với Pig Latin hay các công cụ phân tích, giúp người dùng làm việc mà không phải lo chi tiết phân tán. Các tầng trên dựa vào tầng dưới: Hive biên dịch truy vấn thành job chạy trên YARN và đọc dữ liệu từ HDFS. Phương án "Low level deals with interactivity while high level deals with storage and scheduling" đảo ngược vai trò hai tầng: lưu trữ và lập lịch là phần nền mà mọi thứ khác dựa vào nên phải nằm thấp nhất, còn sự tương tác với người dùng là thứ đặt ở trên cùng, xa phần cứng nhất.

Đáp án đúng: "Volume". Volume (khối lượng) là chữ V nói về kích thước dữ liệu; khi số bản ghi hay số đỉnh, số cạnh tăng lên hàng tỷ, thuật toán có độ phức tạp tăng theo n log n hay n bình phương sẽ cần thời gian và bộ nhớ vượt khả năng một máy, tới mức phân tích không chạy xong trong thời gian hợp lý, nên phải chia nhỏ và xử lý song song. Đây là chỗ có tranh cãi thật với "Valence": Valence (độ kết nối) đo mức các phần tử dữ liệu liên kết với nhau, và khi mạng lưới dày lên thì thuật toán khám phá đồ thị cũng phức tạp hơn, nên một số tài liệu nối "độ phức tạp thuật toán" với Valence; cách hiểu được nhiều bộ câu hỏi ghi nhận cho đúng câu này là Volume, vì câu hỏi nhấn vào việc phân tích không chạy xong do quy mô, còn Valence là đáp án của câu hỏi về mật độ kết nối tăng. "Velocity" (tốc độ) gây áp lực phải xử lý kịp dữ liệu đang đến, là vấn đề độ trễ chứ không phải độ phức tạp thuật toán. "Variety" (đa dạng) làm khó khâu tích hợp và mô hình hoá các định dạng khác nhau.

Đáp án đúng: "True". Diameter (đường kính) của đồ thị là độ dài lớn nhất trong số các đường đi ngắn nhất giữa mọi cặp nút, tức khoảng cách xa nhất giữa hai nút khi luôn đi theo lối ngắn nhất. Vì vậy muốn tính đường kính phải bắt đầu bằng việc tìm đường đi ngắn nhất cho từng cặp nút, chẳng hạn chạy BFS từ mọi nút với đồ thị không trọng số hoặc dùng thuật toán Floyd-Warshall với đồ thị có trọng số, rồi lấy giá trị lớn nhất trong ma trận khoảng cách thu được. Ví dụ một đồ thị đường thẳng gồm bốn nút nối tiếp có khoảng cách ngắn nhất giữa hai đầu là 3, và đó là đường kính. "False" không đúng vì không có cách nào xác định khoảng cách lớn nhất này mà bỏ qua bước tính đường đi ngắn nhất giữa các cặp nút.

Đáp án đúng: "Large and complex". Dữ liệu lớn (big data) chỉ những tập dữ liệu lớn và phức tạp tới mức công cụ truyền thống khó lưu trữ, xử lý và phân tích, thường được mô tả bằng các chữ V: volume (khối lượng), velocity (tốc độ sinh dữ liệu), variety (đa dạng định dạng), veracity (độ tin cậy) và value (giá trị). "Small and structured" ngược hẳn với định nghĩa: dữ liệu nhỏ và có cấu trúc gọn gàng là thứ một cơ sở dữ liệu quan hệ trên một máy xử lý tốt. "Only in spreadsheets" sai vì bảng tính chỉ chứa được lượng dữ liệu nhỏ, trong khi dữ liệu lớn đến từ cảm biến, log, mạng xã hội, giao dịch. "Only audio/video files" sai vì âm thanh, video chỉ là một phần của dữ liệu phi cấu trúc; dữ liệu lớn gồm cả văn bản, bảng quan hệ, JSON, đồ thị, chuỗi thời gian.

Đáp án đúng: "Writing data to memory between pipeline steps.". Xử lý trong bộ nhớ (in-memory processing) nghĩa là kết quả trung gian của mỗi bước trong chuỗi xử lý được giữ lại trên RAM để bước sau đọc tiếp, thay vì ghi xuống đĩa rồi đọc lên như MapReduce; Spark làm điều này bằng RDD được lưu đệm, nên bài toán lặp nhanh hơn nhiều. "Writing data to disk between pipeline steps." chính là cách làm của MapReduce truyền thống, ngược với xử lý trong bộ nhớ. "Having the pipeline completely in disk." mô tả toàn bộ chuỗi chạy trên đĩa, càng không phải trong bộ nhớ. "Having the pipeline completely in memory." nghe gần nhưng sai trọng tâm: dữ liệu đầu vào và kết quả cuối vẫn có thể nằm trên HDFS, cái được giữ trong RAM là dữ liệu trung chuyển giữa các bước. "Having the input completely in disk." chỉ nói nơi dữ liệu đầu vào nằm, không nói gì về cách xử lý. "Having the input completely in memory." cũng sai vì không đòi hỏi nạp toàn bộ đầu vào vào RAM, dữ liệu lớn thường không vừa bộ nhớ.

Đáp án đúng: "Neo4j". Neo4j là cơ sở dữ liệu đồ thị (graph database) tiêu biểu: lưu dữ liệu thành các nút (node) và quan hệ (relationship) có hướng, cả hai đều mang thuộc tính, truy vấn bằng ngôn ngữ Cypher theo mẫu đường đi, nên duyệt quan hệ nhiều bước như bạn của bạn rất nhanh mà không cần phép JOIN. "MongoDB" là cơ sở dữ liệu hướng tài liệu (document store), lưu bản ghi dạng tài liệu giống JSON (BSON) trong các collection. "Redis" là kho khoá giá trị (key-value store) nằm trong bộ nhớ, giá trị có thể là chuỗi, danh sách, tập hợp, hash, dùng nhiều làm bộ đệm. "Hive" là kho dữ liệu trên Hadoop, tổ chức dữ liệu thành bảng và truy vấn bằng HiveQL kiểu SQL, không theo mô hình đồ thị.

Đáp án đúng: "Flume". Apache Flume là dịch vụ phân tán dùng để thu thập, gom và chuyển liên tục khối lượng lớn dữ liệu dòng như log máy chủ, sự kiện ứng dụng vào HDFS hoặc HBase gần như theo thời gian thực, với kiến trúc source, channel, sink. "Sqoop" dùng để chuyển dữ liệu theo lô giữa cơ sở dữ liệu quan hệ và Hadoop, mỗi lần chạy là một đợt nhập hoặc xuất, không phải thu thập liên tục. "Hive" là công cụ kho dữ liệu cho phép truy vấn dữ liệu trên Hadoop bằng ngôn ngữ giống SQL (HiveQL), thuộc tầng phân tích chứ không thu thập dữ liệu. "HDFS" là hệ thống tệp phân tán của Hadoop, nơi lưu dữ liệu sau khi đã được thu về, chứ bản thân nó không đi lấy dữ liệu từ nguồn bên ngoài.