Câu hỏi: BDI302c Dữ liệu lớn – Bộ ôn tập cuối kỳ số 2

Đáp án đúng: "Map -> Shuffle and Sort -> Reduce". Một tác vụ MapReduce chạy ba bước: Map đọc từng phần dữ liệu đầu vào trên các nút và phát ra các cặp khoá–giá trị trung gian; Shuffle and Sort chuyển các cặp đó qua mạng, gom mọi giá trị cùng khoá về cùng một reducer và sắp xếp theo khoá; cuối cùng Reduce tổng hợp danh sách giá trị của mỗi khoá thành kết quả. "Map -> Reduce -> Shuffle and Sort" sai vì reduce cần dữ liệu đã được gom theo khoá, nên không thể chạy trước bước trộn và sắp xếp. "Shuffle and Sort -> Reduce -> Map" sai vì chưa có map thì chưa có cặp khoá–giá trị nào để trộn. "Shuffle and Sort -> Map -> Reduce" sai vì shuffle tồn tại chính để nối đầu ra của map với đầu vào của reduce, nên nó phải nằm giữa hai bước đó.

Đáp án đúng: "Quick prototyping, deploying, and validating of projects.". Ảnh dựng sẵn (pre-built image) như máy ảo Cloudera QuickStart đóng gói sẵn Hadoop, HDFS, YARN, Hive, Pig, Spark đã cấu hình tương thích nhau, nên người dùng khởi động là có môi trường chạy được ngay, tiết kiệm công cài đặt và cho phép dựng mẫu, triển khai, kiểm chứng dự án nhanh. "Guaranteed hardware support." sai vì ảnh là gói phần mềm, không quyết định hay bảo đảm phần cứng nào được hỗ trợ; máy yếu vẫn chạy chậm hoặc không chạy được. "Less software choices to choose from." không phải lợi ích mà là một hạn chế, ảnh cố định sẵn một bộ phiên bản nên bớt linh hoạt. "Quick prototyping, deploying, and guaranteed bug free." có vế đầu đúng nhưng vế sau sai: không phần mềm nào được bảo đảm hết lỗi, ảnh dựng sẵn chỉ giảm lỗi cấu hình chứ không loại trừ lỗi.

Đáp án đúng gồm ba ý: "The velocity of the data is very high.", "Very unstructured data." và "Skilled people to analyze the data are hard to come by.". Dữ liệu do con người tạo ra như bài đăng mạng xã hội, email, bình luận, ảnh, video sinh ra với tốc độ rất cao và liên tục; phần lớn là văn bản tự do và đa phương tiện không theo lược đồ cố định nên phải qua nhiều bước trích xuất, chuẩn hoá mới phân tích được; thêm vào đó, hiểu ngôn ngữ, ngữ cảnh, cảm xúc đòi hỏi người có kỹ năng phân tích dữ liệu và học máy, vốn khan hiếm. "They cannot be modeled and stored." sai vì dữ liệu này vẫn lưu và mô hình hoá được, chẳng hạn bằng cơ sở dữ liệu NoSQL, kho tài liệu, HDFS hay mô hình đồ thị cho quan hệ xã hội; cái khó nằm ở chỗ xử lý tốn công, chứ không phải không thể lưu trữ.

Đáp án đúng: "Defer Commitment". Câu này thuộc phát triển phần mềm tinh gọn (Lean Software Development), không phải kỹ thuật dữ liệu lớn. Trong các nguyên tắc Lean, Defer Commitment (trì hoãn cam kết) khuyên giữ các phương án mở và chỉ chốt quyết định khó đảo ngược khi đã có đủ thông tin; công cụ The Last Responsible Moment (thời điểm có trách nhiệm cuối cùng) chính là mốc muộn nhất mà nếu chưa quyết thì sẽ mất một phương án quan trọng, nên quyết định được đưa ra đúng lúc đó. "Empower People" là nguyên tắc trao quyền cho đội ngũ tự ra quyết định, không bàn về thời điểm quyết định. "See the Whole" yêu cầu tối ưu toàn bộ dòng giá trị thay vì từng phần riêng lẻ. "Deliver Fast" là rút ngắn chu kỳ giao hàng; giao nhanh giúp trì hoãn cam kết dễ hơn, nhưng thời điểm có trách nhiệm cuối cùng là công cụ của nguyên tắc trì hoãn cam kết.

Đáp án đúng: "Enables fault tolerance". Cụm máy phổ thông (commodity cluster) gồm nhiều máy tính rẻ tiền nối mạng; vì linh kiện rẻ nên hỏng hóc là chuyện thường, và phần mềm như Hadoop được thiết kế để chịu lỗi (fault tolerance): HDFS nhân bản mỗi khối dữ liệu ra nhiều nút, tác vụ hỏng được giao lại cho nút khác, nên cả hệ vẫn chạy khi vài máy chết. "Prevents network connection failure" sai vì cụm không ngăn được sự cố mạng; nó chỉ chịu đựng được khi sự cố xảy ra. "Much faster than a traditional super computer" sai vì từng máy phổ thông yếu hơn và mạng chậm hơn siêu máy tính; ưu thế là chi phí thấp và khả năng mở rộng ngang, không phải tốc độ tuyệt đối. "Prevents individual component failures" sai vì cụm không làm linh kiện bớt hỏng, ngược lại nó giả định hỏng hóc sẽ xảy ra và xử lý bằng dư thừa.

Đáp án đúng: "Companies can't afford to own, maintain, and spend the energy to support large data storage unless the cost is sufficiently low.". Dữ liệu lớn chỉ trở thành hiện thực khi giá mỗi gigabyte lưu trữ giảm mạnh; nếu chi phí mua thiết bị, bảo trì và điện năng còn cao thì doanh nghiệp không đủ sức giữ lại khối dữ liệu khổng lồ để phân tích, nên tỉ lệ dung lượng trên giá là điều kiện kinh tế nền tảng của dữ liệu lớn cùng với điện toán đám mây và phần cứng phổ thông. Phương án "allows users to download in bulk" sai vì vấn đề không phải tải hàng loạt về máy người dùng, dữ liệu lớn thường được xử lý tại chỗ trên cụm. "It isn't, it was just an arbitrary example on big data usage." phủ nhận vai trò của chi phí lưu trữ, trong khi đây là một động lực cốt lõi. Phương án "client-facing services require very large data storage" đảo quan hệ nhân quả: lưu trữ rẻ làm dữ liệu lớn khả thi, chứ không phải dịch vụ hướng khách hàng nào cũng buộc phải có kho rất lớn.

Đáp án đúng: "Find the best possible path given two or more optimization criteria where neither constraint can be fully optimized simultaneously.". Bài toán tối ưu Pareto xuất hiện khi chọn đường trong đồ thị theo nhiều tiêu chí cùng lúc, ví dụ vừa ngắn nhất về quãng đường vừa rẻ nhất về chi phí: đường ngắn nhất chưa chắc rẻ nhất, nên không có lời giải nào tối ưu mọi tiêu chí. Tập Pareto gồm những đường mà không thể cải thiện một tiêu chí mà không làm xấu tiêu chí khác, và người dùng chọn trong tập đó theo ưu tiên của mình. "Find the shortest path from source node to target node." là bài toán đường đi ngắn nhất một tiêu chí, giải bằng thuật toán Dijkstra. "Find the optimal path that requires going through specific nodes given by the user." là bài toán đường đi có ràng buộc phải qua các nút cho trước, chỉ thêm điều kiện vào bài toán tối ưu một tiêu chí chứ không có sự đánh đổi giữa nhiều tiêu chí.

Đáp án đúng: "Union". Mỗi tháng tạo ra một lô dữ liệu có cùng các trường Name, Date, Address, Account Number, tức cùng lược đồ; gộp mười hai lô thành một tập cho cả năm là phép hợp (union), xếp các bản ghi của lô này nối dưới lô kia. Phép union theo nghĩa tập hợp, như UNION trong SQL khác với UNION ALL, còn loại các bản ghi trùng, đúng với yêu cầu bỏ những bản ghi lặp số tài khoản giữa các tháng. "Join" ghép các cột của hai bảng theo một khoá chung để mở rộng mỗi bản ghi, trong khi ở đây không có bảng nào bổ sung trường mới. "Subsetting" là lấy ra một tập con các bản ghi hoặc trường thoả điều kiện, không gộp nhiều lô lại. "Not an Operation" sai vì gộp các lô và khử trùng là một phép biến đổi dữ liệu thật sự.

Đáp án đúng: "Coordinate operations and assigns tasks to Data Nodes". NameNode là nút chủ của HDFS: nó giữ không gian tên (namespace) gồm cây thư mục, tên tệp, quyền truy cập và bản đồ mỗi tệp gồm những khối nào nằm trên DataNode nào, từ đó điều phối mọi thao tác như mở, đóng, đổi tên tệp và chỉ thị DataNode tạo, xoá hay nhân bản khối. "Listens from DataNode for block creation, deletion, and replication." mô tả ngược vai trò: chính DataNode là nút thực hiện tạo, xoá, nhân bản khối theo lệnh của NameNode; DataNode gửi heartbeat và báo cáo khối (block report) lên NameNode, NameNode có nhận các báo cáo đó nhưng chức năng của nó là ra chỉ thị chứ không phải chờ lệnh từ DataNode. "For gene sequencing calculations." sai vì giải trình tự gen chỉ là một ứng dụng có thể chạy trên Hadoop, không liên quan tới vai trò quản lý siêu dữ liệu của NameNode.

Đáp án đúng: "Different data types". Variety (tính đa dạng) trong mô hình các chữ V của dữ liệu lớn chỉ sự khác nhau về kiểu và định dạng dữ liệu: bảng có cấu trúc, JSON hay XML bán cấu trúc, văn bản, ảnh, video, âm thanh, dữ liệu cảm biến phi cấu trúc; chính sự đa dạng này buộc hệ thống phải có cách lưu trữ và tích hợp linh hoạt hơn cơ sở dữ liệu quan hệ. "Size of data" là Volume (khối lượng), nói về dung lượng khổng lồ tính bằng terabyte, petabyte. "Speed of data" là Velocity (tốc độ), nói về dữ liệu sinh ra và cần xử lý nhanh, gần thời gian thực. "Accuracy of data" thuộc về Veracity (độ xác thực), nói về mức tin cậy, độ nhiễu và sai lệch của dữ liệu.

Đáp án đúng gồm bốn ý: "Volume", "Velocity", "Variety" và "Veracity". Các đặc trưng cốt lõi của dữ liệu lớn được mô tả bằng các chữ V: Volume là khối lượng dữ liệu khổng lồ, Velocity là tốc độ sinh ra và cần xử lý liên tục, Variety là sự đa dạng về định dạng và cấu trúc, Veracity là độ tin cậy, chất lượng và mức không chắc chắn của dữ liệu; chữ V thứ năm thường được kể là Valence (độ liên kết) hoặc Value (giá trị), không có trong danh sách phương án ở đây. "Validity" (tính hợp lệ) là một tiêu chí kiểm tra chất lượng dữ liệu, thường được xem là khía cạnh nhỏ nằm trong Veracity chứ không phải một đặc trưng riêng của mô hình các chữ V. "Visibility" (khả năng nhìn thấy) liên quan tới trực quan hoá hay quyền truy cập dữ liệu, cũng không thuộc các đặc trưng cốt lõi được dùng để định nghĩa dữ liệu lớn.

Đáp án đúng: "Blocks". HDFS (Hadoop Distributed File System, hệ thống tệp phân tán của Hadoop) cắt mỗi tệp lớn thành các khối (block) kích thước cố định, mặc định 128 MB từ Hadoop 2 trở đi, rồi rải các khối lên nhiều DataNode và sao chép mỗi khối thành ba bản để chịu lỗi; NameNode chỉ giữ siêu dữ liệu cho biết khối nào nằm ở đâu. Chia khối giúp lưu được tệp lớn hơn một ổ đĩa và cho phép xử lý song song từng khối. "Files" là đơn vị người dùng nhìn thấy, nhưng ở tầng lưu trữ vật lý HDFS không giữ nguyên một tệp trên một máy. "Objects" là mô hình của kho đối tượng như Amazon S3. "Tables" là cách tổ chức của cơ sở dữ liệu quan hệ hoặc của Hive, HBase xây phía trên HDFS.

Đáp án đúng: "Mobile advertising benefits from data integration with location, which requires big data.". Giá trị của quảng cáo trên di động nằm ở chỗ điện thoại cho biết người dùng đang ở đâu, vào lúc nào; tích hợp vị trí theo thời gian thực với lịch sử mua sắm, sở thích và dữ liệu cửa hàng xung quanh cho phép đưa quảng cáo đúng người, đúng chỗ. Việc ghép các dòng dữ liệu vị trí liên tục của hàng triệu thiết bị với nhiều nguồn khác đòi hỏi khối lượng và tốc độ xử lý của dữ liệu lớn. Mảnh "in and of itself is always associated with big data" sai vì quảng cáo di động tự nó không mặc nhiên là dữ liệu lớn, mà nhờ việc tích hợp dữ liệu. Mảnh "Since almost everyone owns a cell/mobile phone" chỉ nói thị trường rộng, mà quy mô thị trường không phải lý do kỹ thuật gắn với dữ liệu lớn. Mảnh "massive cellular/mobile texting to a wide audience" mô tả nhắn tin hàng loạt, một kênh gửi thông điệp, không giải thích vì sao cần phân tích dữ liệu lớn.

Đáp án đúng: "Social Media". Mạng xã hội là ứng dụng dữ liệu lớn điển hình hiện nay: hàng tỷ người dùng liên tục sinh bài viết, ảnh, video, lượt thích, quan hệ kết bạn, đủ các đặc trưng khối lượng, tốc độ và đa dạng; các nền tảng phân tích dữ liệu đó để gợi ý nội dung, quảng cáo nhắm mục tiêu, phát hiện xu hướng và phân tích cảm xúc. "Newspapers" sai vì báo in truyền thống là kênh xuất bản một chiều với lượng nội dung nhỏ, không phải nơi sinh và khai thác dữ liệu quy mô lớn. "Individual, Unconnected Hospital Databases" sai vì giá trị của dữ liệu lớn trong y tế đến từ việc tích hợp nhiều nguồn; các cơ sở dữ liệu bệnh viện rời rạc, không kết nối chính là hiện trạng mà dữ liệu lớn muốn vượt qua. "Wi-Fi Networks" là hạ tầng truyền dẫn giúp dữ liệu di chuyển, bản thân nó không phải ứng dụng phân tích dữ liệu lớn.

Đáp án đúng: "Big Data -> Better Models -> Higher Precision". Cách làm việc với dữ liệu lớn đi từ dữ liệu lên: càng nhiều dữ liệu thực tế thì mô hình học từ dữ liệu càng phủ được nhiều tình huống, dự đoán càng chính xác, nên chuỗi là dữ liệu lớn, mô hình tốt hơn, độ chính xác cao hơn. "Theory -> Models -> Precise Advice" là cách tiếp cận truyền thống từ lý thuyết xuống, dựng mô hình theo giả thuyết rồi suy ra lời khuyên, không lấy dữ liệu làm điểm xuất phát. "Extrapolation -> Understanding -> Reproducing" mô tả quá trình ngoại suy rồi hiểu và tái tạo hiện tượng, không phản ánh việc dùng khối dữ liệu lớn để cải thiện mô hình. "Theory -> Models -> Precise Advice-> Understanding" chỉ thêm bước hiểu biết vào cuối chuỗi lý thuyết dẫn đường, vẫn là lối tư duy từ lý thuyết chứ không phải từ dữ liệu.

Đáp án đúng gồm bốn ý: "HDFS", "Pig", "Hive" và "Cassandra". HDFS là tầng lưu trữ phân tán nền tảng của Hadoop; Hive đặt lược đồ bảng lên dữ liệu trong HDFS và cho truy vấn bằng HiveQL kiểu SQL; Cassandra là cơ sở dữ liệu NoSQL dạng cột rộng phân tán, vừa lưu vừa truy vấn bằng CQL. Pig không tự lưu dữ liệu mà là ngôn ngữ xử lý Pig Latin chạy trên dữ liệu đã nằm trong HDFS, nên được tính vào nhóm công cụ truy vấn và xử lý của hệ lưu trữ đó. "Kafka" dễ bị nhầm vì có giữ thông điệp trên đĩa một thời gian, nhưng nó là nền tảng truyền thông điệp và luồng sự kiện theo kiểu publish subscribe, dùng để vận chuyển dữ liệu giữa các hệ thống chứ không phải công cụ lưu trữ và truy vấn, nên bị loại. "Excel" là bảng tính trên máy cá nhân, mỗi trang tính giới hạn khoảng một triệu dòng, không chịu được quy mô dữ liệu lớn.

Đáp án đúng: "All of the others". Để tránh overfitting (quá khớp), ta giữ lại một phần dữ liệu không dùng để huấn luyện làm validation set (tập kiểm định) và đo lỗi trên đó; cả ba kỹ thuật được nêu đều là cách tạo và dùng tập này. "random sub-sampling" lặp lại nhiều lần việc chia ngẫu nhiên dữ liệu thành phần huấn luyện và phần kiểm định rồi lấy trung bình lỗi. "k-fold cross-validation" chia dữ liệu thành k phần bằng nhau, lần lượt dùng mỗi phần làm tập kiểm định và k-1 phần còn lại để huấn luyện, nên mỗi mẫu đều được kiểm định đúng một lần. "leave-one-out cross-validation" là trường hợp đặc biệt của k-fold với k bằng số mẫu, mỗi lần chỉ để riêng một mẫu để kiểm định. Vì cả ba đều đúng, chọn riêng một kỹ thuật là chưa đầy đủ.

Đáp án đúng: "ResourceManager". YARN (Yet Another Resource Negotiator, bộ điều phối tài nguyên) có kiến trúc chủ–tớ: ResourceManager chạy trên nút chủ, nắm toàn bộ tài nguyên của cụm và dùng bộ lập lịch (scheduler) để cấp container cho từng ứng dụng; mỗi ứng dụng có một ApplicationMaster riêng xin tài nguyên từ ResourceManager. "DataNode" sai vì đó là nút tớ của HDFS, lưu các khối dữ liệu, thuộc tầng lưu trữ chứ không phải YARN. "NodeManager" là nút tớ của YARN chạy trên từng máy, khởi tạo và giám sát container rồi báo cáo về ResourceManager, nên không phải nút chủ. "JobTracker" là nút chủ của MapReduce thế hệ đầu (Hadoop 1), gộp cả quản lý tài nguyên lẫn theo dõi tác vụ; YARN ra đời chính để tách vai trò đó thành ResourceManager và ApplicationMaster.

Đáp án đúng: "it is impossible to have consistency, availability, and partition tolerance". Định lý CAP do Eric Brewer nêu nói rằng một hệ phân tán không thể đồng thời bảo đảm cả ba tính chất: nhất quán (mọi nút thấy cùng một dữ liệu tại cùng thời điểm), sẵn sàng (mọi yêu cầu đều nhận được phản hồi) và chịu phân mảnh mạng (hệ vẫn chạy khi mạng giữa các nút bị đứt); khi mạng bị chia cắt, hệ buộc phải chọn giữ nhất quán hoặc giữ sẵn sàng. "it is impossible to have consistency, accuracy, and partial tolerance" dùng sai tên hai tính chất, accuracy và partial tolerance không phải thành phần của định lý. "it is necessary to have consistency, accuracy, and partial tolerance" vừa sai tên tính chất vừa đảo nghĩa thành bắt buộc phải có. "it is necessary to have consistency, availability, and partition tolerance" đúng tên ba tính chất nhưng nói ngược nội dung định lý, vốn khẳng định không thể có đủ cả ba cùng lúc.

Đáp án đúng: "A compressed list that is stored within the value of the database.". Trong Redis, ziplist là cách mã hoá nén dùng cho các danh sách, hash hay sorted set còn nhỏ: thay vì cấp phát từng nút liên kết riêng, Redis xếp mọi phần tử liền nhau trong một vùng nhớ duy nhất làm giá trị của khoá, tiết kiệm bộ nhớ đáng kể; khi cấu trúc vượt ngưỡng cấu hình, Redis chuyển sang dạng mã hoá thông thường. "A special type of data type that can store up to 512 mb of image data." lẫn với giới hạn 512 MB của một giá trị chuỗi trong Redis; chuỗi có thể chứa dữ liệu nhị phân như ảnh, nhưng đó không phải ziplist. "A look up table that is stored as a value in the database. Look up table points to actual values in memory." tả một bảng tra chứa con trỏ, ngược với ý tưởng của ziplist là đặt giá trị ngay trong khối nén. "A special type of data type that can store hashes that point to multiple attributes." tả kiểu hash, nơi một khoá ánh xạ tới nhiều cặp trường giá trị; hash nhỏ có thể được mã hoá bằng ziplist, nhưng bản thân ziplist không phải kiểu hash.