Câu hỏi: BDI302c Dữ liệu lớn – Bộ ôn tập thi lại số 1

Đáp án đúng: "Combining streams of data and analyzing them for new insights.". Giá trị thực của dữ liệu lớn không nằm ở từng nguồn riêng lẻ mà sinh ra khi kết hợp nhiều dòng dữ liệu khác nhau, ví dụ vị trí, giao dịch và mạng xã hội, rồi phân tích chúng để thấy những quy luật mà không nguồn nào cho thấy một mình. Đây là chỗ dễ tranh cãi: "Having data-enabled decisions and actions from the insights of new data." được một số tài liệu ôn tập ghi là đáp án và hai ý rất gần nhau, nhưng nó mô tả mục đích cuối cùng là ra quyết định và hành động, còn câu hỏi hỏi điều gì tạo ra giá trị, tức chính việc kết hợp và phân tích các dòng dữ liệu để rút ra hiểu biết mà quyết định dựa vào. "Size of the data." sai vì khối lượng lớn tự nó chỉ là chi phí lưu trữ, không tạo giá trị nếu không được phân tích. "Using the three major data sources: Machines, People, and Organizations." chỉ liệt kê ba nguồn dữ liệu; có nguồn mà không kết hợp và phân tích thì vẫn chưa sinh giá trị.

Đáp án đúng: "Driver Program". Trong kiến trúc Spark, Driver Program là tiến trình chạy hàm main của ứng dụng và tạo SparkContext (hay SparkSession); chính tại đây RDD được tạo ra, chẳng hạn qua sc.textFile hay sc.parallelize, các phép biến đổi được ghi lại thành đồ thị DAG, rồi driver chia DAG thành stage và task gửi tới cụm. "Local CPU" sai vì CPU chỉ là phần cứng thực thi lệnh, không phải thành phần của Spark quản lý việc tạo RDD. "Storage" sai vì kho lưu trữ như HDFS hay S3 chỉ chứa dữ liệu nguồn mà RDD đọc vào, bản thân nó không định nghĩa RDD. "Spark Executor" sai vì executor là tiến trình trên các nút worker, nhận task từ driver để tính toán trên từng phân vùng và lưu đệm dữ liệu, tức thực thi trên RDD chứ không khởi tạo RDD.

Đáp án đúng: "Complex Data Exploration Algorithms". Valence (độ liên kết) đo mức độ các phần tử dữ liệu nối với nhau, tức tỉ lệ kết nối thực có trên số kết nối có thể có; khi valence cao, đồ thị dày đặc, số đường đi và quan hệ gián tiếp bùng nổ, nên thuật toán khám phá như tìm cộng đồng, tìm đường hay phát hiện mẫu trở nên phức tạp và tốn kém. "Difficult to Integrate" là thách thức điển hình của Variety, khi dữ liệu đến từ nhiều nguồn với định dạng và lược đồ khác nhau. "Reliability of Data" là vấn đề của Veracity, liên quan tới độ chính xác và độ tin cậy của dữ liệu chứ không phải mật độ kết nối. "Difficult reliability" chỉ diễn đạt lại cùng ý về độ tin cậy, cũng thuộc Veracity, không xuất phát từ việc dữ liệu có valence cao.

Đáp án đúng: "A high-level dataflow language". Pig Latin là ngôn ngữ của Apache Pig, mô tả việc xử lý dữ liệu như một dòng dữ liệu (dataflow): mỗi câu lệnh như LOAD, FILTER, GROUP, JOIN, FOREACH nhận một quan hệ và sinh ra quan hệ mới, rồi Pig biên dịch chuỗi bước đó thành các tác vụ MapReduce (hoặc Tez, Spark) chạy trên Hadoop, giúp người dùng khỏi viết mã Java cấp thấp. "A language used for NLP" sai vì Pig Latin không dùng để xử lý ngôn ngữ tự nhiên; cái tên chỉ là cách chơi chữ với trò nói lái trong tiếng Anh. "A machine learning tool" sai vì Pig chỉ biến đổi và tổng hợp dữ liệu; học máy trên Hadoop thuộc về các thư viện như Mahout hay Spark MLlib. "A protocol" sai vì Pig Latin là ngôn ngữ lập trình xử lý dữ liệu, không phải giao thức truyền thông hay quy ước trao đổi giữa các hệ thống.

Đáp án đúng: "Kafka". Apache Kafka là nền tảng truyền thông điệp phân tán theo mô hình publish subscribe: dữ liệu như log, sự kiện được ghi vào các topic chia thành nhiều phân vùng (partition) trên nhiều broker, mỗi phân vùng được sao chép sang broker khác, nên vừa mở rộng ngang được vừa chịu lỗi khi một máy hỏng, và nhiều hệ thống có thể cùng đọc một dòng dữ liệu. "Hive" là kho dữ liệu trên Hadoop để truy vấn dữ liệu đã lưu bằng HiveQL, không vận chuyển log. "Pig" là nền tảng xử lý dữ liệu bằng ngôn ngữ kịch bản Pig Latin, biến đổi dữ liệu đã nằm trong HDFS. "HBase" là cơ sở dữ liệu NoSQL dạng cột trên HDFS cho đọc ghi ngẫu nhiên theo khoá, là nơi lưu chứ không phải kênh chuyển dữ liệu.

Đáp án đúng: "Extracting the true value of a data item.". Trong tích hợp dữ liệu lớn, nhiều nguồn có thể đưa ra giá trị khác nhau cho cùng một mục dữ liệu, chẳng hạn giờ bay của một chuyến hay địa chỉ của một cửa hàng; data fusion (hợp nhất dữ liệu) là quá trình giải quyết mâu thuẫn đó để xác định giá trị đúng nhất, thường bằng bỏ phiếu có trọng số theo độ tin cậy của nguồn. "Extracting a global value from a data source." nói về việc lấy một giá trị tổng hợp toàn cục như tổng hay trung bình, đó là phép gộp (aggregation) chứ không phải hợp nhất các giá trị mâu thuẫn. "Extracting true sources from a data source." lẫn sang việc đánh giá nguồn nào đáng tin, đây chỉ là bước phụ trợ cho fusion chứ không phải mục tiêu của nó. "Another term for customer analytics." sai vì phân tích khách hàng là một ứng dụng nghiệp vụ, không đồng nghĩa với hợp nhất dữ liệu.

Đáp án đúng: "Hadoop Distributed File System". HDFS là hệ thống tệp phân tán của Hadoop, tầng lưu trữ của cả hệ sinh thái: tệp lớn được chia thành các khối (mặc định 128 MB từ Hadoop 2), mỗi khối được nhân bản ra nhiều DataNode, thường là ba bản, còn NameNode giữ siêu dữ liệu về vị trí các khối; nhờ vậy dữ liệu chịu được hỏng máy và được đọc song song. "Hadoop File Distribution System" đảo trật tự chữ, gợi ý một hệ thống phân phát tệp chứ không phải hệ thống tệp phân tán. "Hadoop File Data System" bỏ mất chữ Distributed, vốn là đặc trưng quan trọng nhất của HDFS. "Hadoop Digital File Store" là tên không tồn tại, vì HDFS không phải một kho tệp số mà là hệ thống tệp trải trên nhiều máy.

Đáp án đúng: "Spark Context". collect là một action trong Spark: nó buộc thực thi chuỗi transformation rồi gom toàn bộ phần tử của RDD từ mọi phân vùng trên các worker node về chương trình driver, nơi SparkContext đang chạy, thành một danh sách trong bộ nhớ; vì thế chỉ nên gọi collect khi kết quả đủ nhỏ. "Other Worker Nodes" sai vì dữ liệu chỉ trao đổi giữa các worker khi có shuffle trong các phép như reduceByKey, còn collect đưa dữ liệu về driver. "Spark Streaming" là thư viện xử lý luồng, không phải đích nhận dữ liệu của collect. "None; Stays in the Same Node" sai vì đó là hành vi của transformation hay persist, còn collect bản chất là chuyển dữ liệu về driver. "Spark SQL" là thư viện xử lý dữ liệu có cấu trúc bằng DataFrame và SQL, cũng không phải nơi nhận dữ liệu.

Đáp án đúng: "Giraph". Apache Giraph là hệ xử lý đồ thị quy mô lớn chạy trên Hadoop, theo mô hình Pregel của Google: tính toán chia thành các siêu bước (superstep), trong mỗi bước mọi đỉnh song song nhận thông điệp, cập nhật giá trị và gửi thông điệp cho láng giềng, phù hợp với PageRank, đường đi ngắn nhất, thành phần liên thông trên đồ thị hàng tỷ cạnh. "Hive" là kho dữ liệu truy vấn bằng HiveQL kiểu SQL trên dữ liệu dạng bảng, không có mô hình tính toán theo đỉnh. "HDFS" là hệ thống tệp phân tán, chỉ lưu dữ liệu chứ không xử lý đồ thị. "Storm" là hệ xử lý luồng thời gian thực, xử lý từng sự kiện khi nó đến, không thiết kế cho thuật toán lặp trên đồ thị.

Đáp án đúng: "Latent error". Câu này thuộc thuật ngữ độ tin cậy hệ thống (dependability), không phải kiến thức dữ liệu lớn, và các phương án dùng bộ thuật ngữ kinh điển gồm lỗi tiềm ẩn, lỗi hiệu lực và hỏng hóc. Theo bộ thuật ngữ đó, một chỗ sai đã nằm trong mã nhưng chưa được thực thi tới là latent error (lỗi tiềm ẩn). "Effective error" là trạng thái khi chỗ sai đã được kích hoạt, tức đoạn mã chứa nó chạy và sinh ra dữ liệu hoặc trạng thái sai bên trong hệ thống. "Failure" là khi sai lệch lan tới đầu ra, làm dịch vụ hệ thống lệch khỏi đặc tả và người dùng thấy được. "Fault" trong bộ thuật ngữ kinh điển là nguyên nhân gốc, như sai lầm của người viết mã. Cần nói thẳng chỗ tranh cãi: trong cách gọi mới hơn của cùng lĩnh vực, một khiếm khuyết trong mã chưa được kích hoạt lại được gọi là lỗi gốc đang ngủ (dormant fault), nên "Fault" cũng bảo vệ được; câu này chấm theo bộ thuật ngữ mà chính các phương án đang dùng, nơi trạng thái đó mang tên lỗi tiềm ẩn.

Đáp án đúng: "The covariance of y t and y t +h not depends only on the value of h=0,1, 2, . . .for all t .". Một chuỗi thời gian dừng (stationary) theo nghĩa yếu phải thoả ba điều kiện: kỳ vọng không đổi theo thời gian, phương sai hữu hạn, và hiệp phương sai giữa hai thời điểm chỉ phụ thuộc vào độ trễ h chứ không phụ thuộc vào vị trí t. Phát biểu được chọn phủ định điều kiện thứ ba: nếu hiệp phương sai còn phụ thuộc vào t thì cấu trúc tương quan thay đổi theo thời gian và chuỗi không dừng, nên đây là ngoại lệ câu hỏi tìm. Đây là câu EXCEPT nên những điều kiện thật không được chọn: "The expected value (mean) of yt is a constant for all values of t." là điều kiện trung bình không đổi, một chuỗi có xu hướng tăng dần sẽ vi phạm nó; "The variance of yt is finite" là điều kiện phương sai hữu hạn, và khi xét hiệp phương sai tại h bằng 0 thì phương sai còn phải không đổi theo t; "The covariance of y t and y t +h depends only on the value of h=0,1, 2, . . .for all t ." là điều kiện hiệp phương sai chỉ phụ thuộc độ trễ.

Đáp án đúng: "Joining multiple tables using SQL syntax". Spark SQL có thể đọc bảng PostgreSQL qua nguồn dữ liệu JDBC thành DataFrame, đăng ký thành bảng tạm rồi chạy truy vấn SQL đầy đủ như lọc, gộp nhóm và nối nhiều bảng bằng JOIN, kể cả nối bảng PostgreSQL với dữ liệu từ nguồn khác. "Running machine learning models directly on the database tables" sai vì học máy là việc của MLlib trên DataFrame đã nạp vào Spark, không chạy trực tiếp trong bảng của cơ sở dữ liệu bằng Spark SQL. "Creating visualizations directly from SQL queries" sai vì Spark SQL chỉ trả về dữ liệu, vẽ biểu đồ phải dùng công cụ khác như thư viện Python, notebook hay công cụ báo cáo. "Sending email notifications upon query completion" không phải chức năng của một động cơ truy vấn; gửi thông báo thuộc về hệ thống điều phối hay lập lịch bên ngoài.

Đáp án đúng: "Check system compatibility with Cloudera VM requirements". Cloudera VM là máy ảo đóng gói sẵn Hadoop và các công cụ hệ sinh thái, chạy trong phần mềm ảo hoá như VirtualBox; máy ảo này đòi hỏi nhiều bộ nhớ RAM, dung lượng đĩa trống và CPU 64 bit có bật ảo hoá phần cứng, nên việc đầu tiên là kiểm tra máy có đáp ứng các yêu cầu đó không, tránh tải về hàng gigabyte rồi không khởi động được. "Install Cloudera Manager" không phải bước chuẩn bị máy cá nhân, vì công cụ quản trị cụm này được kèm sẵn bên trong máy ảo. "Download the course data sets" chỉ làm sau khi máy ảo đã chạy được để có chỗ nạp dữ liệu. "Run Jupyter Notebooks" là bước thực hành phân tích, nằm ở cuối chuỗi chuẩn bị.