Tất cả câu hỏi

Đáp án đúng: "Machine Data, Organizational Data, and People". Các nguồn dữ liệu lớn thường được chia ba nhóm: dữ liệu máy (machine data) do cảm biến, thiết bị, nhật ký hệ thống sinh ra tự động với tốc độ cao; dữ liệu tổ chức (organizational data) như giao dịch, hồ sơ khách hàng, tồn kho của doanh nghiệp, thường có cấu trúc và nằm trong các cơ sở dữ liệu; và dữ liệu do con người (people) tạo ra như mạng xã hội, email, ảnh, phần lớn phi cấu trúc. "Information Networks, Map Data, and People" dùng hai mục chỉ là ví dụ dữ liệu cụ thể chứ không phải nhóm nguồn. "Machine Data, Map Data, and Social Media" thiếu dữ liệu tổ chức, còn bản đồ và mạng xã hội chỉ là ví dụ thuộc nhóm máy và nhóm con người. "Sensor Data, Organizational Data, and Social Media" dùng ví dụ hẹp thay cho tên nhóm: cảm biến chỉ là một phần của dữ liệu máy, mạng xã hội chỉ là một phần của dữ liệu con người.

Đáp án đúng: "Define the Problem". Trong giai đoạn tìm đúng vấn đề để giải quyết bằng khoa học dữ liệu, việc đầu tiên là định nghĩa vấn đề: phát biểu rõ vấn đề kinh doanh hay khoa học cần giải, phạm vi của nó và vì sao nó quan trọng, vì mọi bước sau đều dựa trên phát biểu này. Chỗ dễ tranh cãi là "Ask the Right Questions": đặt đúng câu hỏi là tinh thần chung xuyên suốt cả giai đoạn tìm vấn đề, nên nhiều người coi nó là bước khởi đầu, nhưng nó là cách làm áp dụng ở mọi bước chứ không phải một bước riêng đứng đầu; phải có vấn đề được định nghĩa thì mới biết câu hỏi nào là đúng. "Assess the Situation" là đánh giá nguồn lực, dữ liệu sẵn có, rủi ro và ràng buộc, chỉ làm được khi đã biết vấn đề là gì. "Define Goals" là đặt mục tiêu và tiêu chí thành công đo được, cũng đến sau khi vấn đề đã được định nghĩa.

Đáp án đúng: "Zookeeper, management system for animal named related components". ZooKeeper là công cụ mã nguồn mở của hệ sinh thái Hadoop cung cấp dịch vụ điều phối tập trung cho hệ phân tán: lưu cấu hình, đặt tên, đồng bộ, bầu chọn nút chủ; cái tên mang ý chơi chữ người giữ vườn thú vì nhiều thành phần Hadoop được đặt theo tên con vật như Pig (con lợn), Hive (tổ ong) và chính chú voi Hadoop, nên mô tả này đúng về bản chất là hệ điều phối cho các thành phần đó. "Giraph, for SQL-like queries." sai vì Giraph là nền tảng xử lý đồ thị lặp theo mô hình Pregel; truy vấn kiểu SQL là việc của Hive. "Pig, for real-time and in-memory processing of big data." sai vì Pig chạy luồng dữ liệu theo lô, còn xử lý trong bộ nhớ tốc độ cao là đặc trưng của Spark. "Zookeeper, analyze social graphs." sai vì ZooKeeper không phân tích dữ liệu nào; phân tích đồ thị mạng xã hội là việc của Giraph hoặc GraphX.

Đáp án đúng: "A method to process streaming data by utilizing batch processing and real time processing.". Lambda architecture (kiến trúc lambda) là kiến trúc phần mềm xử lý dữ liệu lớn gồm ba tầng: batch layer xử lý lại toàn bộ dữ liệu lịch sử theo lô để có kết quả chính xác, speed layer xử lý dữ liệu mới theo thời gian thực để bù độ trễ của tầng lô, và serving layer gộp kết quả của hai tầng để trả lời truy vấn. Điểm cốt lõi là kết hợp cả xử lý lô lẫn xử lý thời gian thực. Mảnh "using special real time processes" chỉ mô tả tầng xử lý thời gian thực, thiếu tầng lô; cách chỉ dùng xử lý dòng gần với kiến trúc Kappa hơn. Mảnh "A specific hardware architecture for a server" sai vì lambda architecture là cách tổ chức luồng xử lý bằng phần mềm, chạy trên cụm máy thông thường, không phải thiết kế phần cứng máy chủ.

Đáp án đúng gồm hai ý: "Probability of Two Attributes Co-occurring" và "Similarity of Attributes". Nhóm thuộc tính (attribute grouping) là bước dựng lược đồ trung gian khi tích hợp nhiều nguồn: quyết định thuộc tính nào của các nguồn thực chất cùng nghĩa và nên gộp chung. Hai thước đo dùng ở đây là độ tương tự của thuộc tính, ví dụ tên hay giá trị giống nhau như phone và telephone, và xác suất hai thuộc tính cùng xuất hiện trong một nguồn: nếu hai thuộc tính thường đứng cạnh nhau trong cùng lược đồ thì chúng mang nghĩa khác nhau, không nên gộp. "Integrated Views" là khung nhìn tích hợp, kết quả cuối mà người dùng truy vấn, không phải tiêu chí đánh giá. "Customer Interaction" là dữ liệu hành vi khách hàng, không liên quan đến việc so khớp thuộc tính. "Candidate Designs" là các phương án lược đồ ứng viên sinh ra sau khi nhóm, không phải căn cứ để quyết định nhóm.

Đáp án đúng: "In the Product Backlog". Đây là kiến thức về Scrum, khung quản lý dự án linh hoạt (agile) chứ không riêng gì dữ liệu lớn: trong Scrum, Product Backlog là danh sách có thứ tự mọi yêu cầu, tính năng, cải tiến và sửa lỗi của sản phẩm, do Product Owner quản lý và sắp ưu tiên, nên yêu cầu khách hàng được ghi ở đó dưới dạng các mục backlog như user story. "In a database" chỉ nói tới phương tiện lưu trữ, không phải một artifact của Scrum; backlog có thể nằm trong công cụ có cơ sở dữ liệu nhưng câu hỏi hỏi artifact. "In a Scrum Product Requirement Specification" sai vì Scrum không định nghĩa tài liệu đặc tả yêu cầu kiểu này, ba artifact chuẩn là Product Backlog, Sprint Backlog và Increment. "Nowhere. The Scrum Product Owner knows them" sai vì Scrum đòi hỏi minh bạch, yêu cầu phải được ghi lại cho cả nhóm thấy chứ không nằm trong đầu một người.

Đáp án đúng: "60928.635220". Câu dẫn không kèm bảng số liệu; con số đến từ tập dữ liệu điều tra dân số Hoa Kỳ năm 2010 dùng trong bài thực hành, nơi mỗi dòng là một hạt (county) với cột tên bang và cột dân số. Cách tính là lọc các dòng thuộc bang Georgia rồi lấy trung bình cột dân số. Georgia có 159 hạt với tổng khoảng 9.687.653 người, nên trung bình là 9.687.653 chia 159: 159 nhân 60.928 được 9.687.552, còn dư 101, và 101 chia 159 xấp xỉ 0,635220, ra 60.928,635220. "394383.53786" nhân 159 hạt sẽ ra khoảng 62,7 triệu người, gấp hơn sáu lần dân số Georgia. "45373.454788" nhân 159 chỉ được khoảng 7,2 triệu người, thấp hơn tổng thực tế gần 2,5 triệu. "243767.4564" nhân 159 ra khoảng 38,8 triệu người, quá xa so với dân số khoảng 9,7 triệu của bang này.

Đáp án đúng: "Resource Manager and Node Manager". Trong YARN của Hadoop, ResourceManager và NodeManager là hai thành phần thường trực tạo nên data-computation framework (khung tính toán dữ liệu): ResourceManager chạy ở nút chủ, nắm toàn bộ tài nguyên cụm và quyết định cấp phát cho các ứng dụng; NodeManager chạy trên mỗi nút thợ, quản lý tài nguyên của máy đó, khởi chạy và giám sát container rồi báo cáo về ResourceManager. "Resource Manager and Container" thiếu NodeManager, vì container chỉ là gói tài nguyên CPU và bộ nhớ được cấp phát chứ không phải thành phần quản lý. "Applications Master and Container" gồm hai thứ chỉ tồn tại theo từng ứng dụng, không phải nền tảng thường trực. "Node Manager and Applications Master" thiếu ResourceManager, đầu mối cấp phát tài nguyên toàn cụm; ApplicationMaster chỉ thương lượng tài nguyên cho riêng một ứng dụng. "Node Manager and Container" chỉ là phần thực thi ở một nút, không có bộ điều phối tài nguyên chung.

Đáp án đúng: "Data quality". Chất lượng dữ liệu (data quality) là mảng quản lý dữ liệu lớn lo cho dữ liệu chính xác, nhất quán giữa các nguồn và đáng tin cậy, thông qua kiểm tra, làm sạch, loại trùng, chuẩn hoá định dạng và giám sát liên tục. "Data ingestion" là khâu nạp dữ liệu từ nguồn vào hệ thống, quan tâm số lượng nguồn, tốc độ và định dạng đầu vào; có thể kiểm tra sơ bộ khi nạp nhưng mục tiêu chính không phải bảo đảm tính đúng. "Data operations" là các thao tác vận hành trên dữ liệu như lọc, gộp, biến đổi, truy vấn. "Data scalability" là khả năng hệ thống lưu trữ và xử lý mở rộng theo khối lượng dữ liệu tăng, chẳng hạn bằng cách thêm máy, liên quan đến dung lượng và hiệu năng chứ không phải độ chính xác.

Đáp án đúng: "No: lines have to be converted into row.". DataFrame trong Spark SQL là tập dữ liệu có lược đồ, mỗi phần tử là một đối tượng Row với các cột có tên và kiểu; một RDD đọc từ tệp văn bản chỉ là tập các chuỗi, nên phải dùng map để tách mỗi dòng thành các trường và đóng gói thành Row, sau đó mới gọi createDataFrame hoặc toDF để có DataFrame. "Yes" sai vì RDD các dòng thô chưa có cấu trúc cột, Spark không tự suy ra được lược đồ. "No: RDD’s needed to be made relational first." diễn đạt mơ hồ: không có bước biến RDD thành quan hệ nào riêng, việc cần làm cụ thể là chuyển từng dòng thành Row. "No: RDD’s cannot be converted into DataFrames." sai vì Spark hỗ trợ chuyển RDD sang DataFrame, cả bằng cách suy luận lược đồ từ Row lẫn bằng cách khai báo lược đồ tường minh qua StructType.

Đáp án đúng: "YARN". Spark có thể chạy ở nhiều chế độ quản lý cụm như standalone, Mesos, Kubernetes, và phổ biến nhất trong hệ sinh thái Hadoop là chạy trên YARN: khi đó Spark xin container từ ResourceManager để khởi chạy các executor trên những NodeManager, dùng chung tài nguyên với các ứng dụng Hadoop khác và đọc dữ liệu ngay trên HDFS. "Flume" sai vì nó là dịch vụ thu thập và chuyển dữ liệu log, sự kiện vào HDFS, không cấp tài nguyên tính toán. "Sqoop" sai vì nó chỉ chuyển dữ liệu giữa Hadoop và cơ sở dữ liệu quan hệ. "Zookeeper" sai vì nó cung cấp dịch vụ điều phối như lưu cấu hình, đồng bộ, bầu chọn nút chủ cho hệ phân tán, chứ không phải nơi phân bổ CPU, bộ nhớ để chạy tác vụ Spark.

Đáp án đúng: "Project, Ship, Reduce". Semi-join (nửa phép nối) là kỹ thuật giảm lượng dữ liệu truyền qua mạng khi nối hai quan hệ R và S nằm ở hai trạm khác nhau của cơ sở dữ liệu phân tán. Bước Project chiếu R lên các thuộc tính nối để có tập giá trị khoá gọn nhẹ; bước Ship gửi tập giá trị này sang trạm chứa S; bước Reduce dùng nó để lọc S, chỉ giữ các bộ có giá trị khớp, rồi chỉ phần S đã thu gọn mới phải gửi đi để hoàn tất phép nối. "Project, Decompose, Send" có bước phân rã (decompose) không thuộc semi-join, vốn không tách quan hệ ra. "Index, Join, Display" mô tả quy trình truy vấn chung là lập chỉ mục, nối rồi hiển thị, không có bước gửi giá trị nối sang trạm khác. "Query, Join, Display" chỉ là trình tự chạy một truy vấn, bỏ qua đúng bước gửi và thu gọn làm nên semi-join.

Đáp án đúng gồm bốn ý: "Bottleneck using HDFS.", "Map and Reduce Based Computation.", "No interactive shell and streaming." và "Java support only.". Học máy thường dùng thuật toán lặp, đọc lại cùng dữ liệu qua nhiều vòng; với Hadoop MapReduce, mỗi vòng phải đọc từ HDFS và ghi kết quả trung gian xuống đĩa, gây nghẽn vào ra. Mô hình chỉ gồm hai pha Map và Reduce cứng nhắc nên khó diễn đạt thuật toán nhiều bước. Hadoop không có shell tương tác để thử nghiệm, khám phá dữ liệu, không hỗ trợ xử lý luồng, và API gốc gắn chủ yếu với Java; đó là những lý do Spark ra đời. "Requires nodes and multiple machines." không phải nhược điểm riêng: mọi nền tảng phân tán kể cả Spark đều chạy trên cụm nhiều nút, và đó chính là cách mở rộng quy mô. "Unable to support machine learning." quá tuyệt đối, vì Hadoop vẫn chạy được học máy, ví dụ với thư viện Mahout, chỉ là chạy kém hiệu quả.

Đáp án đúng: "Execution model, Latency, Scalability, Programming Language, Fault Tolerance". Khi so sánh các hệ xử lý dữ liệu lớn như MapReduce, Spark, Flink, Storm, người ta xét năm tiêu chí: mô hình thực thi (theo lô, theo luồng, cách biểu diễn luồng xử lý), độ trễ (thời gian từ khi dữ liệu vào tới khi có kết quả), khả năng mở rộng (thêm máy để xử lý nhiều dữ liệu hơn), ngôn ngữ lập trình được hỗ trợ (Java, Scala, Python, SQL) và khả năng chịu lỗi (khôi phục khi nút hỏng). Phương án "Coordination, Latency, Productivity, Speed, Fault Tolerance" lẫn vào phối hợp, năng suất và tốc độ, trong đó tốc độ trùng ý với độ trễ. Phương án "Execution model, Speed, Scalability, Flexibility, Fault Tolerance" thay độ trễ bằng tốc độ và thay ngôn ngữ lập trình bằng tính linh hoạt, là những khái niệm chung chung. Phương án "Coordination, Latency, Productivity, Flexibility" lại bỏ mất mô hình thực thi và khả năng mở rộng, hai tiêu chí quan trọng nhất.

Đáp án đúng: "Spark". Apache Spark là động cơ xử lý hợp nhất: phần lõi với RDD và DataFrame xử lý theo lô (batch), còn Spark Streaming chia luồng dữ liệu thành các lô nhỏ (micro-batch) và Structured Streaming xử lý luồng trên cùng API DataFrame, nên một nền tảng chạy được cả hai kiểu, dùng chung mã và bộ nhớ đệm. "Hive" sai vì là kho dữ liệu truy vấn bằng HiveQL, dịch thành các tác vụ theo lô trên MapReduce, Tez hoặc Spark, không xử lý luồng thời gian thực. "Pig" sai vì Pig Latin cũng được biên dịch thành các tác vụ theo lô, dùng cho biến đổi dữ liệu kiểu ETL. "Sqoop" sai vì nó chỉ chuyển dữ liệu hàng loạt giữa Hadoop và cơ sở dữ liệu quan hệ, không phải nền tảng xử lý.

Đáp án đúng: "To process structured data using SQL queries.". Spark SQL là mô-đun của Apache Spark để xử lý dữ liệu có cấu trúc: nó cung cấp DataFrame và Dataset, cho phép viết truy vấn SQL hoặc dùng API tương đương, đọc nhiều nguồn như Parquet, JSON, Hive, JDBC, và dùng bộ tối ưu Catalyst để lập kế hoạch thực thi hiệu quả. "To provide machine learning capabilities." là việc của MLlib, thư viện học máy của Spark. "To manage distributed graph computation." là việc của GraphX (hoặc GraphFrames), mô-đun tính toán đồ thị phân tán. "To perform real-time streaming analytics." là việc của Spark Streaming và Structured Streaming; Structured Streaming dựng trên nền Spark SQL nhưng mục đích chính của Spark SQL vẫn là truy vấn dữ liệu có cấu trúc, còn phân tích dòng là mô-đun khác.

Đáp án đúng: "No". K-Means bắt đầu bằng việc chọn ngẫu nhiên k tâm cụm ban đầu, rồi lặp hai bước: gán mỗi điểm vào tâm gần nhất và tính lại tâm bằng trung bình các điểm trong cụm, cho tới khi hội tụ. Thuật toán chỉ bảo đảm hội tụ về một cực tiểu cục bộ của tổng bình phương khoảng cách trong cụm, và cực tiểu đó phụ thuộc vào tâm khởi tạo, nên hai lần chạy với khởi tạo ngẫu nhiên khác nhau có thể cho cách phân cụm khác nhau. Vì vậy trong thực hành người ta chạy nhiều lần rồi chọn kết quả có tổng sai số nhỏ nhất, hoặc dùng k-means++ để khởi tạo tốt hơn. "Yes" chỉ đúng khi cố định hạt giống ngẫu nhiên hoặc dùng cùng một bộ tâm khởi tạo, điều mà câu hỏi không giả định.

Đáp án đúng: "HDFS and through the “hadoop fs” command.". Hàm saveAsTextFile của Spark ghi RDD ra đường dẫn được chỉ định, ở đây đường dẫn có tiền tố hdfs nên dữ liệu được ghi vào hệ tệp phân tán HDFS; coalesce(1) gộp về một phân vùng nên thư mục outputDir chứa một tệp part-00000 cùng tệp đánh dấu _SUCCESS. Vì HDFS không gắn vào cây thư mục cục bộ, muốn xem phải dùng lệnh hadoop fs như hadoop fs -ls hay hadoop fs -cat. Phương án "HDFS and through the system directory with the “cd” terminal command." đúng nơi ghi nhưng sai cách truy cập, lệnh cd chỉ đi trong hệ tệp cục bộ của máy. "The local file system and through the “hadoop fs” command." sai nơi ghi vì tiền tố hdfs không trỏ về đĩa cục bộ. "The local file system and through the directory with the “cd” terminal command." sai cả nơi ghi lẫn cách truy cập.

Đáp án đúng: "A type of data to contain both edge and vertex info.". Trong Spark GraphX, đồ thị gồm VertexRDD chứa thuộc tính đỉnh và EdgeRDD chứa thuộc tính cạnh; triplet là khung nhìn ghép chúng lại: mỗi phần tử EdgeTriplet mang mã và thuộc tính của đỉnh nguồn (srcAttr), đỉnh đích (dstAttr) cùng thuộc tính của cạnh nối chúng (attr), lấy ra qua graph.triplets. Nhiều tài liệu ôn tập lại ghi "A type of data to contain the information on connections between vertices and edges." vì triplet nghe như mô tả mối nối; nhưng theo tài liệu GraphX, triplet không chứa quan hệ giữa đỉnh với cạnh mà chứa trọn dữ liệu của một cạnh và hai đỉnh đầu mút, nên mô tả đúng là chứa cả thông tin cạnh lẫn đỉnh. "A type of data to contain vertex info." chỉ đúng với VertexRDD, thiếu phần cạnh. "A type of data to contain edge info." chỉ đúng với EdgeRDD, thiếu thuộc tính hai đỉnh mà triplet gắn thêm vào.