Câu hỏi: BDI302c Dữ liệu lớn – Bộ ôn tập cuối kỳ số 2

Đáp án đúng: "A dense amount of edge connections between nodes in a community and a few connections across communities.". Trong phân tích đồ thị, community (cộng đồng) là một nhóm nút liên kết chặt với nhau: số cạnh bên trong nhóm nhiều hơn hẳn số cạnh nối sang nhóm khác, và các thuật toán phát hiện cộng đồng như tối ưu modularity đều đo đúng chênh lệch này. "High density of nodes at a certain location." nói về mật độ nút theo vị trí không gian, trong khi cộng đồng được xác định bằng cấu trúc cạnh chứ không bằng toạ độ. Mảnh "defined by an integer constant K around a specific node" mô tả vùng lân cận k bước quanh một nút (ego network), một khái niệm cục bộ chứ không phải cộng đồng, và việc nút ở bước K+1 thuộc cộng đồng khác là không có căn cứ. "Many anomalous neighborhoods within the same vicinity." thuộc về phát hiện bất thường trên đồ thị, không phải định nghĩa cộng đồng.

Đáp án đúng: "Data privacy concerns". Đồng hồ điện thông minh (smart meter) ghi mức tiêu thụ theo từng khoảng ngắn, vài phút tới một giờ, rồi gửi về công ty điện; chuỗi số liệu chi tiết đó cho phép suy ra thói quen sinh hoạt như giờ ngủ, giờ vắng nhà, thiết bị đang dùng, nên quyền riêng tư dữ liệu trở thành thách thức chính khi ngành năng lượng thu thập và phân tích dữ liệu lớn từ hàng triệu hộ. "Decreased energy demand" sai vì nhu cầu năng lượng giảm không phải hệ quả tất yếu của việc lắp đồng hồ thông minh, và nếu có tiết kiệm thì đó là lợi ích chứ không phải thách thức. "Lack of consumer awareness" có thể gặp trong thực tế nhưng không gắn với bản chất dữ liệu mà công nghệ này sinh ra. "High cost of deployment" là chi phí đầu tư có thể lên kế hoạch được, còn thách thức nổi bật xuất phát từ chính dữ liệu là quyền riêng tư.

Đáp án đúng gồm bốn ý: "Hadoop", "Spark", "MapReduce" và "Hive". Khung xử lý dữ liệu phân tán chia việc ra nhiều máy trong cụm và chạy song song: Hadoop cung cấp HDFS, YARN và MapReduce; MapReduce là mô hình lập trình chia bài toán thành pha map và pha reduce; Spark là động cơ xử lý phân tán trong bộ nhớ. Hive thì nói cho đúng là tầng truy vấn kiểu SQL (HiveQL) đặt trên các khung đó, biên dịch truy vấn thành job MapReduce, Tez hoặc Spark chứ tự nó không phải động cơ thực thi; tuy vậy xét theo nhóm công cụ xử lý dữ liệu lớn phân tán thì Hive gần với nhóm này hơn hẳn hai lựa chọn kia nên vẫn được tính. "MongoDB" là cơ sở dữ liệu NoSQL hướng tài liệu, việc chính là lưu trữ và truy vấn bản ghi, không phải khung xử lý tính toán phân tán. "RDBMS" là hệ quản trị cơ sở dữ liệu quan hệ như MySQL hay PostgreSQL, thường chạy tập trung với lược đồ cố định và giao dịch ACID, không được thiết kế làm khung xử lý dữ liệu lớn.

Đáp án đúng: "Accuracy". Ứng dụng dữ liệu lớn chỉ đáng tin khi kết quả phản ánh đúng thực tế, và điều đó phụ thuộc trước hết vào độ chính xác (accuracy) của dữ liệu đầu vào: giá trị sai, trùng lặp, thiếu hay nhiễu sẽ dẫn tới phân tích sai theo nguyên tắc rác vào thì rác ra; đây là phần Veracity (độ xác thực) trong các chữ V. "Volume" là khối lượng dữ liệu; nhiều dữ liệu hơn không làm dữ liệu đáng tin hơn nếu bản thân nó sai. "Velocity" là tốc độ sinh và xử lý dữ liệu, liên quan tới tính kịp thời chứ không phải tính đúng. "Retention" là chính sách lưu giữ dữ liệu trong bao lâu, phục vụ tuân thủ pháp lý và kiểm soát chi phí lưu trữ, không quyết định dữ liệu có chính xác hay không.

Đáp án đúng: "DataNode". HDFS (Hadoop Distributed File System) chia mỗi tệp thành các khối (block), mặc định 128 MB, và các khối này được lưu thật sự trên đĩa của các DataNode, mỗi khối được sao chép thường là ba bản trên các máy khác nhau; DataNode cũng phục vụ yêu cầu đọc ghi khối và gửi heartbeat định kỳ báo còn sống. "NameNode" chỉ giữ siêu dữ liệu (metadata) như cây thư mục, tên tệp và bảng ánh xạ khối nào nằm ở DataNode nào, chứ không chứa nội dung dữ liệu. "Zookeeper" là dịch vụ điều phối phân tán dùng cho bầu chọn leader, quản lý cấu hình và khoá, ví dụ hỗ trợ NameNode dự phòng, không lưu dữ liệu người dùng. "Flume" là công cụ thu thập và chuyển dữ liệu dòng vào HDFS, tức đứng ở phía nạp dữ liệu chứ không phải nơi lưu trữ.

Đáp án đúng: "Big data enables advanced analytics and insights for decision-making.". Trong hệ thống quy mô lớn, giá trị của dữ liệu lớn nằm ở chỗ nhờ lưu trữ phân tán và xử lý song song, tổ chức có thể truy xuất và phân tích khối dữ liệu khổng lồ, đa dạng để tìm mẫu, dự báo và ra quyết định dựa trên bằng chứng, tức chữ V value (giá trị). "Big data reduces the complexity of data systems significantly." sai vì dữ liệu lớn làm hệ thống phức tạp hơn: phải phân tán, nhân bản, chịu lỗi, tích hợp nhiều nguồn. "Big data eliminates the need for data processing in large scale systems." sai vì ngược lại, dữ liệu càng lớn càng cần xử lý như làm sạch, tích hợp, tổng hợp trước khi dùng được. "Big data is primarily useful for storing large volumes of data without analysis." sai vì lưu trữ chỉ là phương tiện; dữ liệu nằm yên không được phân tích thì không mang lại giá trị nào.

Đáp án đúng: "The size and frequency of the streaming data may be sporadic.". Với dữ liệu luồng (streaming), thách thức về kích thước và tần suất là dữ liệu đến không đều: có lúc dồn dập với khối lượng lớn, có lúc thưa thớt, kích thước mỗi gói cũng thay đổi, nên hệ thống phải co giãn tài nguyên và xử lý đột biến mà không mất dữ liệu hay tăng độ trễ. "There may not be data to produce the notion of size and frequency." sai vì luồng dữ liệu luôn có kích thước và tần suất đo được, vấn đề là chúng biến động chứ không phải không tồn tại. "The size and frequency of the streaming data may be too small." không phải thách thức đặc trưng, dữ liệu ít và thưa dễ xử lý hơn; cái khó là sự thất thường và những lúc tăng vọt. "None of the above." sai vì đã có một phương án mô tả đúng thách thức này.

Đáp án đúng: "A method to process streaming data by utilizing batch processing and real-time processing.". Kiến trúc lambda (lambda architecture) chạy song song hai tầng: tầng lô (batch layer) định kỳ xử lý lại toàn bộ dữ liệu lịch sử để cho kết quả chính xác, và tầng tốc độ (speed layer) xử lý dữ liệu mới đến theo thời gian thực để bù độ trễ; tầng phục vụ (serving layer) gộp hai kết quả khi trả lời truy vấn. "A specific method for processing streaming data using special real-time processes." chỉ có phần thời gian thực, gần với kiến trúc kappa chỉ dùng một luồng xử lý, thiếu hẳn tầng lô vốn là nửa cốt lõi của lambda. "A specific hardware architecture for a server made specifically for processing real-time data." sai bản chất vì lambda là kiến trúc phần mềm, cách tổ chức luồng xử lý chạy trên cụm máy thông thường, không phải thiết kế phần cứng máy chủ. "None of the above." sai vì đã có một mô tả đúng.

Đáp án đúng: "The data does not necessarily need to be formatted in a way that represents the data model. Just so long as it can be extrapolated.". Data model (mô hình dữ liệu) mô tả ở mức logic cấu trúc, phép toán và ràng buộc của dữ liệu, còn format là cách dữ liệu được ghi xuống thực tế; cùng một mô hình có thể lưu theo nhiều định dạng, ví dụ một đồ thị có thể lưu dạng danh sách kề, ma trận kề hay tập bộ ba trong tệp văn bản, miễn là từ đó suy ra lại được cấu trúc của mô hình. Mảnh "always one specific schema for storing model data" sai vì không có một lược đồ lưu trữ duy nhất tối ưu cho mọi trường hợp; lựa chọn phụ thuộc vào cách truy vấn và hệ thống dùng. Mảnh "There is a one-to-one correspondence between formatting data and data modeling" sai vì quan hệ giữa mô hình và định dạng là một-nhiều, như ví dụ đồ thị ở trên. "None of the above" sai vì đã có một phương án mô tả đúng sự tách biệt giữa mô hình và định dạng.

Đáp án đúng: "Results can be ordered by similarity using vector projection.". Trong mô hình không gian vector (vector space model) cho dữ liệu văn bản, mỗi tài liệu và cả truy vấn được biểu diễn thành vector trọng số các từ, thường theo tf-idf; độ giống nhau được đo bằng hình chiếu của vector này lên vector kia, cụ thể là tích vô hướng chia cho tích độ dài, tức độ tương đồng cosine, nên kết quả tìm kiếm có thể xếp hạng từ giống nhất tới ít giống nhất. "Enables image searching." sai vì biểu diễn vector trong ngữ cảnh này nhằm tìm kiếm và xếp hạng văn bản; tìm ảnh cần trích đặc trưng ảnh riêng và không phải lý do điển hình. "Enables weighting of the query." chỉ là một khả năng phụ: có thể tăng trọng số cho từ quan trọng trong truy vấn, nhưng mục đích chính vẫn là đo tương đồng để xếp hạng. "The ability to normalize vectors, allowing probability distributions." sai vì chuẩn hoá vector về độ dài 1 là để so sánh cosine công bằng giữa văn bản dài và ngắn, không biến vector thành phân phối xác suất.

Đáp án đúng: "match (n)-[r]-(m) return n,r,m". Trong Cypher, mệnh đề match nhận một mẫu đồ thị: (n) và (m) là hai nút bất kỳ, -[r]- là một quan hệ bất kỳ không xét chiều nối chúng; câu lệnh vì vậy khớp mọi cặp nút có quan hệ và trả về cả nút lẫn quan hệ, Neo4j Browser hiển thị ra toàn bộ phần đồ thị có cạnh. "show graph" không phải câu lệnh Cypher; Cypher không có lệnh show để in cả đồ thị. "select * from graph" là cú pháp SQL cho bảng quan hệ, Neo4j không có bảng tên graph và Cypher không dùng mệnh đề select from. "return all" thiếu mệnh đề match để xác định cần lấy gì và all không phải biến được khai báo, nên câu lệnh không hợp lệ.

Đáp án đúng: "Utilizing real-time data to compute and change the state of an application continuously.". Xử lý luồng (streaming) nghĩa là dữ liệu đi vào liên tục và hệ thống tính toán ngay khi từng phần tử tới, cập nhật trạng thái của ứng dụng không ngừng, ví dụ bảng điều khiển giao thông thay đổi theo từng tín hiệu cảm biến. "Using static data stored from a real-time source to process and guide the application." mô tả dữ liệu đã được lưu lại thành tĩnh rồi mới xử lý, tức xử lý theo lô dù nguồn ban đầu là thời gian thực. "Calculating results using real-time data, otherwise known as streaming data." nghe gần đúng nhưng chỉ nói việc tính ra kết quả, thiếu ý cốt lõi là tính liên tục và thay đổi trạng thái theo thời gian, lại định nghĩa vòng quanh bằng chính từ streaming. "Using sensors to manipulate the system, such as a smart car being able to drive by itself using sensors to detect road hazards." là một ví dụ ứng dụng cụ thể có thể dùng xử lý luồng, không phải định nghĩa của khái niệm.

Đáp án đúng: "Closeness". Closeness centrality (độ trung tâm gần) của một nút được tính từ tổng độ dài các đường đi ngắn nhất từ nút đó tới mọi nút khác, thường lấy nghịch đảo; nút có closeness cao là nút trung bình gần mọi nút nhất, nên thông tin bơm vào từ đó đi theo đường ngắn nhất sẽ phủ toàn mạng nhanh nhất. "Degree" chỉ đếm số láng giềng trực tiếp, đo ảnh hưởng cục bộ trong một bước; nút nhiều bạn vẫn có thể nằm ở rìa mạng và xa phần còn lại. "Between-ness" đo số đường ngắn nhất giữa các cặp nút khác đi qua một nút, cho biết nút đóng vai trò cầu nối hay người gác cổng có thể kiểm soát hoặc chặn dòng thông tin, chứ không phải điểm xuất phát lan nhanh nhất. "Group" là độ trung tâm tính cho cả một nhóm nút, mở rộng các chỉ số trên cho tập nút chứ không phải loại chỉ số trả lời câu hỏi này.

Đáp án đúng: "Apply classification on clusters". Phân cụm (clustering) như k-means là học không giám sát: nó chia dữ liệu thành các nhóm giống nhau nhưng không gắn tên cho nhóm. Sau khi chuyên gia xem đặc điểm từng cụm và đặt nhãn, ví dụ cụm khách chi tiêu cao, các nhãn đó có thể làm dữ liệu huấn luyện cho một bộ phân loại (classification) để gán nhãn cho cả những mẫu mới; đó là cách phân cụm hỗ trợ tạo dữ liệu có nhãn. "Increase support" sai vì support là độ đo tần suất xuất hiện của tập mục trong luật kết hợp, không liên quan đến việc đặt nhãn cụm. "Use FP-Growth" sai vì FP-Growth là thuật toán khai phá tập mục phổ biến cho luật kết hợp, không gán nhãn cho cụm. "Convert to regression" sai vì hồi quy dự đoán giá trị số liên tục, còn nhãn cụm là nhãn rời rạc nên bài toán phù hợp là phân loại.

Đáp án đúng: "False". Phát biểu cho rằng Cypher không có lệnh riêng để tìm đường đi ngắn nhất là sai, vì Cypher cung cấp sẵn hai hàm shortestPath và allShortestPaths; ví dụ viết match p=shortestPath((a)-[:TO*]-(b)) return p sẽ trả về một đường ngắn nhất giữa hai nút, còn allShortestPaths trả về mọi đường có cùng độ dài ngắn nhất. Ngoài ra thư viện Graph Data Science của Neo4j còn có thủ tục Dijkstra cho đồ thị có trọng số. Phương án "True" sai vì nó phủ nhận sự tồn tại của các hàm dựng sẵn này; người dùng không phải tự viết thuật toán duyệt đồ thị mà chỉ cần bọc mẫu đường đi có độ dài biến thiên trong hàm shortestPath là đủ.

Đáp án đúng: "Routing to avoid using the same bridge or road.". Trong đồ thị, trail là đường đi không lặp lại cạnh nhưng được phép quay lại đỉnh cũ; nếu thành phố là đỉnh và cầu, con đường là cạnh thì yêu cầu không đi lại cùng một cây cầu hay con đường chính là ràng buộc không lặp cạnh, giống bài toán bảy cây cầu Königsberg. "Routing to avoid visiting the same city." là ràng buộc không lặp đỉnh, ứng với khái niệm path (đường đi đơn) chứ không phải trail. "An email network tracing frequency of emails from one person to another." quan tâm trọng số trên cạnh, tức số email giữa hai người, không cần khái niệm đường đi không lặp cạnh. "An email network tracing email replies." lần theo chuỗi trả lời qua lại, trong đó cùng một cặp người gửi và nhận có thể xuất hiện nhiều lần, nên việc cấm lặp cạnh không có ý nghĩa ở đây.

Đáp án đúng: "Bins have same width ranges". Equal-width binning (chia khoảng đều độ rộng) là kỹ thuật rời rạc hoá một biến số liên tục: lấy khoảng từ giá trị nhỏ nhất tới lớn nhất rồi chia thành k khoảng có cùng độ rộng bằng hiệu max trừ min chia cho k. Ví dụ tuổi từ 0 tới 100 với k bằng 5 cho các khoảng rộng 20 năm; số phần tử rơi vào mỗi khoảng có thể chênh nhau nhiều, nhất là khi có ngoại lai. "Bins have the same number of items" mô tả equal-frequency binning (chia theo tần suất đều, còn gọi equal-depth), trong đó độ rộng các khoảng khác nhau để mỗi khoảng chứa số phần tử bằng nhau. "Bins based on frequency" cũng thuộc nhóm chia theo tần suất, ranh giới đặt theo phân bố dữ liệu chứ không theo độ rộng cố định. "Bins are random" sai vì cả hai kiểu chia đều có quy tắc xác định.

Đáp án đúng: "A dense amount of edge connections between nodes in a community and a few connections across communities.". Trong phân tích đồ thị, cộng đồng (community) là tập đỉnh liên kết chặt với nhau: mật độ cạnh bên trong nhóm cao, còn số cạnh nối ra các nhóm khác thì ít; các thuật toán phát hiện cộng đồng, ví dụ tối ưu modularity, tìm cách chia đồ thị sao cho cạnh trong nhóm nhiều hơn hẳn mức ngẫu nhiên và cạnh liên nhóm ít. "Many anomalous neighborhoods within the same vicinity." sai vì vùng lân cận bất thường (anomalous) là chủ đề phát hiện bất thường, không phải định nghĩa cộng đồng. "A neighborhood defined by an integer constant K around a specific node. All K+1 nodes belong to another community." lẫn với khái niệm lân cận K bước quanh một đỉnh; lân cận đó là khái niệm khác, và chuyện các đỉnh ở bước K+1 thuộc cộng đồng khác là không có căn cứ. "High density of nodes at a certain location." sai vì đồ thị không có toạ độ vị trí; điều quyết định là mật độ cạnh giữa các đỉnh chứ không phải số đỉnh dồn ở một chỗ.

Đáp án đúng: "Degree". Độ trung tâm bậc (degree centrality) đếm số cạnh nối vào một nút; nút có bậc rất cao là trung tâm (hub) nối trực tiếp với nhiều nút khác, nên đây là thước đo nhận diện tính hub. "Between-ness" (độ trung tâm trung gian) đo mức độ một nút nằm trên các đường ngắn nhất giữa những cặp nút khác, nhận diện nút cầu nối hay người môi giới, có thể có bậc thấp mà vẫn rất quan trọng. "Closeness" (độ trung tâm gần) dựa trên tổng khoảng cách ngắn nhất tới mọi nút, nhận diện nút lan truyền nhanh, không đếm số láng giềng trực tiếp. "Group" (độ trung tâm nhóm) mở rộng các thước đo trên cho một tập nút, dùng cho bài toán chọn một nhóm chủ chốt chứ không đo hub của từng nút.

Đáp án đúng: "Julio’s node was reachable from Maria node". Trong đồ thị có hướng của mạng email, cạnh đi từ người gửi tới người nhận; nút B gọi là reachable (đến được) từ nút A khi tồn tại đường đi theo đúng chiều mũi tên từ A tới B, có thể qua nhiều nút trung gian. Email của Maria tới được Julio, trực tiếp hoặc qua người khác chuyển tiếp, nghĩa là có đường đi bắt đầu ở Maria, đi theo các cạnh gửi thư và kết thúc ở Julio, tức nút Julio đến được từ nút Maria. "Maria’s node was reachable from Julio’s node" đảo chiều câu hỏi: nó hỏi thư của Julio có tới được Maria hay không. Vì đồ thị có hướng nên khả năng đến được không đối xứng: Maria gửi tới được Julio không kéo theo Julio gửi tới được Maria, nên phải kiểm tra đúng chiều xuất phát từ Maria.