Câu hỏi: BDI302c Dữ liệu lớn – Bộ ôn tập cuối kỳ số 2

Đáp án đúng: "Hyperlinks". Khi mô hình hoá World Wide Web thành một mạng (đồ thị), mỗi trang web là một nút và mỗi liên kết từ trang này trỏ sang trang kia là một cạnh có hướng; đây là đồ thị mà các thuật toán như PageRank phân tích để xếp hạng trang theo số và chất lượng liên kết trỏ tới. "Webpages" là các nút của mạng chứ không phải cạnh, vì cạnh phải là quan hệ nối giữa hai đối tượng. "Google search terms" là truy vấn người dùng gõ vào công cụ tìm kiếm, không phải quan hệ giữa các trang và không thuộc cấu trúc của web. "Individual computers" là các nút trong mạng vật lý Internet, nơi cạnh là đường truyền giữa máy với máy; đó là một mạng khác với mạng các trang và liên kết của World Wide Web mà câu hỏi nói tới.

Đáp án đúng: "Allows various applications to run on the same Hadoop cluster.". YARN tách việc quản lý tài nguyên khỏi mô hình lập trình: ResourceManager cấp container cho bất kỳ ứng dụng nào có ApplicationMaster, nhờ vậy MapReduce, Spark, Tez, Giraph có thể cùng chạy và chia sẻ tài nguyên trên một cụm Hadoop, cùng dùng dữ liệu trên HDFS, thay vì mỗi framework phải dựng cụm riêng. "Enables large-scale data across clusters." là câu mơ hồ, mô tả chung việc trải dữ liệu lớn trên cụm, vốn là việc của HDFS chứ không phải vai trò điều phối tài nguyên của YARN. "Implementation of MapReduce." sai vì MapReduce chỉ là một trong nhiều ứng dụng chạy trên YARN; ở Hadoop 1 MapReduce tự quản lý tài nguyên, còn YARN ra đời để gỡ sự gắn chặt đó. "None of the above" sai vì đã có một phát biểu đúng về vai trò của YARN.

Đáp án đúng: "True". Cypher được thiết kế để người quen SQL dễ học nên mượn nhiều từ khoá và mệnh đề của SQL: WHERE để lọc, ORDER BY để sắp xếp, LIMIT và SKIP để phân trang, DISTINCT để bỏ trùng, các hàm gộp như count, sum, avg, cùng UNION; khác biệt chính là thay FROM bằng MATCH với mẫu đồ thị và dùng RETURN ở cuối thay cho SELECT ở đầu. Phương án "False" sai vì nó cho rằng hai ngôn ngữ không có điểm chung nào, trong khi phần lọc, sắp xếp, gộp nhóm của Cypher gần như trùng tên và ngữ nghĩa với SQL; chỗ khác biệt chỉ nằm ở cách mô tả dữ liệu cần lấy theo mẫu nút và quan hệ thay vì theo bảng.

Đáp án đúng: "Pie chart". Câu hỏi dùng chữ graph theo nghĩa lý thuyết đồ thị: một tập đỉnh nối với nhau bởi các cạnh biểu diễn quan hệ. Biểu đồ tròn chỉ là cách vẽ tỷ lệ các phần của một tổng thành những lát cắt, không có đỉnh và cạnh, nên không phải đồ thị dù tiếng Anh thông thường cũng gọi nó là một kiểu chart. "Social network" là đồ thị điển hình: mỗi người là một đỉnh, quan hệ bạn bè hay theo dõi là cạnh. "Gene interaction map" cũng là đồ thị, mỗi gen hoặc protein là đỉnh và tương tác sinh học giữa chúng là cạnh, dùng để tìm các cụm gen cùng chức năng. "Road map" là đồ thị có trọng số, giao lộ hoặc thành phố là đỉnh, đoạn đường là cạnh mang độ dài, làm nền cho các bài toán tìm đường ngắn nhất.

Đáp án đúng: "Support for geospatial data storage and geospatial queries.". Aerospike là cơ sở dữ liệu NoSQL dạng khoá giá trị phân tán, tối ưu cho ổ SSD và độ trễ rất thấp; một tính năng nổi bật của nó là lưu dữ liệu địa lý theo GeoJSON, lập chỉ mục không gian và truy vấn như tìm các điểm nằm trong một vùng hay trong bán kính quanh một toạ độ, hữu ích cho ứng dụng định vị và quảng cáo theo vị trí. "Enables real-time data streaming from external sources." là việc của các công cụ thu thập và truyền dữ liệu dòng như Kafka hay Flume, không phải điểm đặc trưng của một cơ sở dữ liệu lưu trữ. "Better equipped for string-based search applications." là thế mạnh của các máy tìm kiếm văn bản như Elasticsearch, Solr với chỉ mục đảo ngược. "Images as values within the database." là khả năng lưu dữ liệu nhị phân mà nhiều hệ khoá giá trị đều có, không phải nét riêng quan trọng của Aerospike.

Đáp án đúng: "Prevents missed opportunities.". Xử lý thời gian thực (real-time) phân tích dữ liệu ngay khi nó tới, nên giá trị đến từ tính kịp thời: phát hiện gian lận thẻ trước khi giao dịch hoàn tất, gợi ý sản phẩm khi khách còn trên trang, cảnh báo sự cố khi cảm biến vừa báo; chờ xử lý theo lô cuối ngày thì cơ hội hành động đã trôi qua. "More accurate." sai vì thời gian thực không làm kết quả chính xác hơn; xử lý theo lô trên toàn bộ dữ liệu thậm chí thường chính xác hơn. "More expensive to batch process." sai vì xử lý theo lô thường rẻ hơn tính toán liên tục trên luồng, nên chi phí không phải lý do. "Batch processing is an older method that is not as accurate as real-time processing." sai vì lô và luồng là hai cách bổ trợ nhau cho các bài toán khác nhau; xử lý theo lô không kém chính xác chỉ vì ra đời trước.

Đáp án đúng: "kNN". Thuật toán k láng giềng gần nhất (k-nearest neighbors) là thuật toán học lười (lazy learner): nó không dựng mô hình trước mà chỉ lưu lại toàn bộ dữ liệu huấn luyện, đến khi cần phân loại một mẫu mới mới tính khoảng cách tới mọi điểm, lấy k điểm gần nhất và bỏ phiếu theo nhãn, nên không có pha huấn luyện thật sự. "Decision tree" phải học từ dữ liệu bằng cách chọn thuộc tính tách tốt nhất theo độ đo như Gini hay information gain để dựng cây trước khi dự đoán. "Naïve Bayes" phải ước lượng xác suất tiên nghiệm của từng lớp và xác suất có điều kiện của từng thuộc tính từ dữ liệu huấn luyện. "SVM" phải giải bài toán tối ưu để tìm siêu phẳng phân tách có lề lớn nhất, đây là pha huấn luyện tốn kém.

Đáp án đúng: "Neo4j". Neo4j là cơ sở dữ liệu đồ thị (graph database) tiêu biểu: lưu dữ liệu thành các nút (node) và quan hệ (relationship) có hướng, cả hai đều mang thuộc tính, truy vấn bằng ngôn ngữ Cypher theo mẫu đường đi, nên duyệt quan hệ nhiều bước như bạn của bạn rất nhanh mà không cần phép JOIN. "MongoDB" là cơ sở dữ liệu hướng tài liệu (document store), lưu bản ghi dạng tài liệu giống JSON (BSON) trong các collection. "Redis" là kho khoá giá trị (key-value store) nằm trong bộ nhớ, giá trị có thể là chuỗi, danh sách, tập hợp, hash, dùng nhiều làm bộ đệm. "Hive" là kho dữ liệu trên Hadoop, tổ chức dữ liệu thành bảng và truy vấn bằng HiveQL kiểu SQL, không theo mô hình đồ thị.

Đáp án đúng: "kNN". kNN (k-Nearest Neighbors, k láng giềng gần nhất) là thuật toán phân lớp (classification) có giám sát: với một mẫu mới, nó tìm k mẫu huấn luyện gần nhất theo một độ đo khoảng cách như Euclid, rồi gán nhãn theo lớp chiếm đa số trong k láng giềng đó. "FP-Growth" là thuật toán khai phá tập phổ biến và luật kết hợp, xây cây FP-tree để tìm các mặt hàng hay được mua cùng nhau mà không cần nhãn lớp. "Apriori" cũng thuộc khai phá luật kết hợp, sinh tập ứng viên theo từng kích thước và cắt tỉa dựa trên tính chất mọi tập con của một tập phổ biến đều phổ biến. "PCA" (Principal Component Analysis, phân tích thành phần chính) là kỹ thuật giảm chiều không giám sát, chiếu dữ liệu lên các hướng có phương sai lớn nhất, không dự đoán nhãn lớp.

Đáp án đúng: "Give equal importance to variables". Các thuật toán phân cụm như k-means dựa vào khoảng cách giữa các điểm, thường là khoảng cách Euclid; nếu một biến có thang đo lớn, ví dụ thu nhập tính bằng triệu, và biến khác có thang nhỏ như số con, thì biến thang lớn sẽ áp đảo khoảng cách và quyết định cụm. Chuẩn hoá (normalization) như min-max hay z-score đưa các biến về cùng thang để mỗi biến đóng góp ngang nhau. "Remove outliers" là một bước tiền xử lý khác; chuẩn hoá không loại điểm nào, và chuẩn hoá min-max còn bị ngoại lai làm lệch. "Use more variables" không liên quan, vì chuẩn hoá giữ nguyên số biến. "Reduce support" lẫn sang khái niệm support (độ hỗ trợ) của phân tích luật kết hợp, không phải phân cụm.

Đáp án đúng: "YARN". Hadoop 2 có ba thành phần cốt lõi: HDFS lo lưu trữ, YARN lo quản lý tài nguyên và lập lịch, MapReduce lo mô hình xử lý. YARN gồm ResourceManager trên nút chủ theo dõi CPU, bộ nhớ của cả cụm và cấp container, cùng NodeManager trên mỗi nút giám sát tài nguyên tại chỗ. "HDFS" sai vì đó là hệ thống tệp phân tán, chia tệp thành khối và nhân bản trên các DataNode, thuộc tầng lưu trữ. "MapReduce" sai vì từ Hadoop 2 nó chỉ là mô hình lập trình xử lý dữ liệu chạy trên YARN, không còn tự quản lý tài nguyên như thời JobTracker. "Spark" là động cơ xử lý dữ liệu trong bộ nhớ, có thể chạy trên YARN như một ứng dụng, chứ không phải thành phần của Hadoop chịu trách nhiệm cấp phát tài nguyên.

Đáp án đúng: "MongoDB". MongoDB là cơ sở dữ liệu NoSQL hướng tài liệu (document store): mỗi bản ghi là một tài liệu dạng BSON giống JSON, có thể chứa trường lồng nhau và mảng, các tài liệu trong cùng collection không bắt buộc cùng lược đồ, phù hợp dữ liệu bán cấu trúc. "Neo4j" là cơ sở dữ liệu đồ thị, mô hình hoá dữ liệu thành nút, quan hệ và thuộc tính, truy vấn bằng Cypher. "Redis" là kho key-value trong bộ nhớ, ánh xạ khoá tới giá trị hoặc cấu trúc dữ liệu đơn giản, dùng nhiều làm bộ đệm. "MySQL" là hệ quản trị cơ sở dữ liệu quan hệ, lưu dữ liệu trong bảng có lược đồ cố định và truy vấn bằng SQL, không thuộc nhóm NoSQL.

Đáp án đúng: "Hardware Only". IaaS (Infrastructure as a Service, hạ tầng như một dịch vụ) là tầng dưới cùng của mô hình đám mây: nhà cung cấp cho thuê hạ tầng phần cứng đã ảo hoá gồm máy ảo, ổ lưu trữ, mạng, còn hệ điều hành, runtime và ứng dụng do người dùng tự cài và tự quản lý, ví dụ Amazon EC2. Dễ nhầm nhất là "Computing Environment": môi trường tính toán gồm hệ điều hành, runtime, thư viện, công cụ phát triển dựng sẵn là thứ PaaS (Platform as a Service) cung cấp, không phải IaaS, vì với IaaS người dùng chỉ nhận phần cứng ảo hoá trống và tự dựng môi trường phía trên. "Software On-Demand" là SaaS, phần mềm hoàn chỉnh dùng ngay qua mạng mà không phải cài đặt hay quản lý gì. "LOud software" không phải thuật ngữ của điện toán đám mây và không ứng với tầng dịch vụ nào.

Đáp án đúng: "supp(X ∪ Y) / supp(X)". Trong phân tích luật kết hợp, confidence (độ tin cậy) của luật X suy ra Y là xác suất có điều kiện giao dịch chứa Y khi đã chứa X, tính bằng support của tập gồm cả X và Y chia cho support của X. Ví dụ trong 100 giao dịch có 40 giao dịch chứa bánh mì và 30 giao dịch chứa cả bánh mì lẫn sữa thì confidence của luật bánh mì suy ra sữa là 30 chia 40, bằng 0,75. "Frequency of rule" là định nghĩa của support của luật, tức tỉ lệ giao dịch chứa cả X và Y, không chia cho support của X. "Support of consequence" chỉ là support của Y, dùng trong mẫu số của chỉ số lift chứ không phải confidence. "supp(X) / supp(Y)" là tỉ số giữa hai support đơn lẻ, không phản ánh việc X và Y cùng xuất hiện nên không đo độ tin cậy của luật.

Đáp án đúng: "MongoDB". MongoDB là cơ sở dữ liệu NoSQL hướng tài liệu: mỗi tài liệu lưu dạng BSON giống JSON, các tài liệu trong cùng một collection không bắt buộc có cùng tập trường hay cùng kiểu, nên có thể thêm trường mới bất cứ lúc nào mà không cần sửa lược đồ; vì vậy nó được gọi là không lược đồ (schema-less), hay đúng hơn là lược đồ linh hoạt. "MySQL" sai vì là hệ quản trị cơ sở dữ liệu quan hệ, bảng phải định nghĩa cột và kiểu trước bằng CREATE TABLE. "Oracle" cũng là RDBMS với lược đồ cố định, muốn thêm cột phải chạy ALTER TABLE. "PostgreSQL" là cơ sở dữ liệu quan hệ có lược đồ chặt; nó hỗ trợ cột JSONB để chứa dữ liệu bán cấu trúc, nhưng bảng vẫn có lược đồ khai báo trước nên không phải hệ không lược đồ.

Đáp án đúng: "128 MB". HDFS chia mỗi tệp thành các khối (block) lớn rồi phân tán và sao lưu chúng trên các DataNode; từ Hadoop 2.x kích thước khối mặc định là 128 MB, đặt qua tham số dfs.blocksize. Khối lớn giúp giảm số siêu dữ liệu NameNode phải giữ trong bộ nhớ và giảm thời gian tìm kiếm so với thời gian truyền dữ liệu. "32 MB" chưa từng là mặc định của HDFS, khối nhỏ như vậy làm số khối tăng vọt và đè nặng NameNode. "64 MB" là kích thước mặc định của Hadoop 1.x, đã được tăng lên ở phiên bản 2.x mà câu hỏi nhắc tới. "256 MB" là giá trị quản trị viên thường tự cấu hình cho cụm có tệp rất lớn, nhưng không phải mặc định. Ví dụ một tệp 300 MB sẽ được chia thành hai khối 128 MB và một khối 44 MB.

Đáp án đúng: "Schema created from integrating two or more schemas.". Lược đồ trung gian (mediated schema) là lược đồ hợp nhất dựng từ việc tích hợp nhiều lược đồ nguồn, ví dụ ghép lược đồ bệnh nhân của hai bệnh viện thành một lược đồ chung; người dùng truy vấn trên lược đồ này và hệ thống dịch truy vấn xuống từng nguồn qua các ánh xạ. "Schemas created from customer info." gắn lược đồ với một loại dữ liệu cụ thể, trong khi lược đồ trung gian có thể dựng cho bất kỳ miền nào. "Schemas created entirely from attribute grouping." quá hẹp: nhóm thuộc tính (attribute grouping) chỉ là một bước giúp xác định thuộc tính nào nên gộp chung khi dựng lược đồ trung gian, không phải toàn bộ quá trình. "A type of probabilistic schema mapping." nhầm vai trò: ánh xạ lược đồ xác suất là các ánh xạ có gán xác suất nối lược đồ nguồn với lược đồ trung gian, còn lược đồ trung gian là đích của các ánh xạ đó.

Đáp án đúng: "A type of data to contain both edge and vertex info.". Trong Spark GraphX, đồ thị gồm VertexRDD chứa thuộc tính đỉnh và EdgeRDD chứa thuộc tính cạnh; triplet là khung nhìn ghép chúng lại: mỗi phần tử EdgeTriplet mang mã và thuộc tính của đỉnh nguồn (srcAttr), đỉnh đích (dstAttr) cùng thuộc tính của cạnh nối chúng (attr), lấy ra qua graph.triplets. Nhiều tài liệu ôn tập lại ghi "A type of data to contain the information on connections between vertices and edges." vì triplet nghe như mô tả mối nối; nhưng theo tài liệu GraphX, triplet không chứa quan hệ giữa đỉnh với cạnh mà chứa trọn dữ liệu của một cạnh và hai đỉnh đầu mút, nên mô tả đúng là chứa cả thông tin cạnh lẫn đỉnh. "A type of data to contain vertex info." chỉ đúng với VertexRDD, thiếu phần cạnh. "A type of data to contain edge info." chỉ đúng với EdgeRDD, thiếu thuộc tính hai đỉnh mà triplet gắn thêm vào.

Đáp án đúng: "HDFS and through the “hadoop fs” command.". Hàm saveAsTextFile của Spark ghi RDD ra đường dẫn được chỉ định, ở đây đường dẫn có tiền tố hdfs nên dữ liệu được ghi vào hệ tệp phân tán HDFS; coalesce(1) gộp về một phân vùng nên thư mục outputDir chứa một tệp part-00000 cùng tệp đánh dấu _SUCCESS. Vì HDFS không gắn vào cây thư mục cục bộ, muốn xem phải dùng lệnh hadoop fs như hadoop fs -ls hay hadoop fs -cat. Phương án "HDFS and through the system directory with the “cd” terminal command." đúng nơi ghi nhưng sai cách truy cập, lệnh cd chỉ đi trong hệ tệp cục bộ của máy. "The local file system and through the “hadoop fs” command." sai nơi ghi vì tiền tố hdfs không trỏ về đĩa cục bộ. "The local file system and through the directory with the “cd” terminal command." sai cả nơi ghi lẫn cách truy cập.