Câu hỏi: BDI302c Dữ liệu lớn – Bộ ôn tập thi lại số 1

Đáp án đúng: "Resource Manager and Node Manager". Trong YARN của Hadoop, ResourceManager và NodeManager là hai thành phần thường trực tạo nên data-computation framework (khung tính toán dữ liệu): ResourceManager chạy ở nút chủ, nắm toàn bộ tài nguyên cụm và quyết định cấp phát cho các ứng dụng; NodeManager chạy trên mỗi nút thợ, quản lý tài nguyên của máy đó, khởi chạy và giám sát container rồi báo cáo về ResourceManager. "Resource Manager and Container" thiếu NodeManager, vì container chỉ là gói tài nguyên CPU và bộ nhớ được cấp phát chứ không phải thành phần quản lý. "Applications Master and Container" gồm hai thứ chỉ tồn tại theo từng ứng dụng, không phải nền tảng thường trực. "Node Manager and Applications Master" thiếu ResourceManager, đầu mối cấp phát tài nguyên toàn cụm; ApplicationMaster chỉ thương lượng tài nguyên cho riêng một ứng dụng. "Node Manager and Container" chỉ là phần thực thi ở một nút, không có bộ điều phối tài nguyên chung.

Đáp án đúng: "60928.635220". Câu dẫn không kèm bảng số liệu; con số đến từ tập dữ liệu điều tra dân số Hoa Kỳ năm 2010 dùng trong bài thực hành, nơi mỗi dòng là một hạt (county) với cột tên bang và cột dân số. Cách tính là lọc các dòng thuộc bang Georgia rồi lấy trung bình cột dân số. Georgia có 159 hạt với tổng khoảng 9.687.653 người, nên trung bình là 9.687.653 chia 159: 159 nhân 60.928 được 9.687.552, còn dư 101, và 101 chia 159 xấp xỉ 0,635220, ra 60.928,635220. "394383.53786" nhân 159 hạt sẽ ra khoảng 62,7 triệu người, gấp hơn sáu lần dân số Georgia. "45373.454788" nhân 159 chỉ được khoảng 7,2 triệu người, thấp hơn tổng thực tế gần 2,5 triệu. "243767.4564" nhân 159 ra khoảng 38,8 triệu người, quá xa so với dân số khoảng 9,7 triệu của bang này.

Đáp án đúng: "In the Product Backlog". Đây là kiến thức về Scrum, khung quản lý dự án linh hoạt (agile) chứ không riêng gì dữ liệu lớn: trong Scrum, Product Backlog là danh sách có thứ tự mọi yêu cầu, tính năng, cải tiến và sửa lỗi của sản phẩm, do Product Owner quản lý và sắp ưu tiên, nên yêu cầu khách hàng được ghi ở đó dưới dạng các mục backlog như user story. "In a database" chỉ nói tới phương tiện lưu trữ, không phải một artifact của Scrum; backlog có thể nằm trong công cụ có cơ sở dữ liệu nhưng câu hỏi hỏi artifact. "In a Scrum Product Requirement Specification" sai vì Scrum không định nghĩa tài liệu đặc tả yêu cầu kiểu này, ba artifact chuẩn là Product Backlog, Sprint Backlog và Increment. "Nowhere. The Scrum Product Owner knows them" sai vì Scrum đòi hỏi minh bạch, yêu cầu phải được ghi lại cho cả nhóm thấy chứ không nằm trong đầu một người.

Đáp án đúng gồm hai ý: "Probability of Two Attributes Co-occurring" và "Similarity of Attributes". Nhóm thuộc tính (attribute grouping) là bước dựng lược đồ trung gian khi tích hợp nhiều nguồn: quyết định thuộc tính nào của các nguồn thực chất cùng nghĩa và nên gộp chung. Hai thước đo dùng ở đây là độ tương tự của thuộc tính, ví dụ tên hay giá trị giống nhau như phone và telephone, và xác suất hai thuộc tính cùng xuất hiện trong một nguồn: nếu hai thuộc tính thường đứng cạnh nhau trong cùng lược đồ thì chúng mang nghĩa khác nhau, không nên gộp. "Integrated Views" là khung nhìn tích hợp, kết quả cuối mà người dùng truy vấn, không phải tiêu chí đánh giá. "Customer Interaction" là dữ liệu hành vi khách hàng, không liên quan đến việc so khớp thuộc tính. "Candidate Designs" là các phương án lược đồ ứng viên sinh ra sau khi nhóm, không phải căn cứ để quyết định nhóm.

Đáp án đúng: "A method to process streaming data by utilizing batch processing and real time processing.". Lambda architecture (kiến trúc lambda) là kiến trúc phần mềm xử lý dữ liệu lớn gồm ba tầng: batch layer xử lý lại toàn bộ dữ liệu lịch sử theo lô để có kết quả chính xác, speed layer xử lý dữ liệu mới theo thời gian thực để bù độ trễ của tầng lô, và serving layer gộp kết quả của hai tầng để trả lời truy vấn. Điểm cốt lõi là kết hợp cả xử lý lô lẫn xử lý thời gian thực. Mảnh "using special real time processes" chỉ mô tả tầng xử lý thời gian thực, thiếu tầng lô; cách chỉ dùng xử lý dòng gần với kiến trúc Kappa hơn. Mảnh "A specific hardware architecture for a server" sai vì lambda architecture là cách tổ chức luồng xử lý bằng phần mềm, chạy trên cụm máy thông thường, không phải thiết kế phần cứng máy chủ.

Đáp án đúng: "Zookeeper, management system for animal named related components". ZooKeeper là công cụ mã nguồn mở của hệ sinh thái Hadoop cung cấp dịch vụ điều phối tập trung cho hệ phân tán: lưu cấu hình, đặt tên, đồng bộ, bầu chọn nút chủ; cái tên mang ý chơi chữ người giữ vườn thú vì nhiều thành phần Hadoop được đặt theo tên con vật như Pig (con lợn), Hive (tổ ong) và chính chú voi Hadoop, nên mô tả này đúng về bản chất là hệ điều phối cho các thành phần đó. "Giraph, for SQL-like queries." sai vì Giraph là nền tảng xử lý đồ thị lặp theo mô hình Pregel; truy vấn kiểu SQL là việc của Hive. "Pig, for real-time and in-memory processing of big data." sai vì Pig chạy luồng dữ liệu theo lô, còn xử lý trong bộ nhớ tốc độ cao là đặc trưng của Spark. "Zookeeper, analyze social graphs." sai vì ZooKeeper không phân tích dữ liệu nào; phân tích đồ thị mạng xã hội là việc của Giraph hoặc GraphX.

Đáp án đúng: "Define the Problem". Trong giai đoạn tìm đúng vấn đề để giải quyết bằng khoa học dữ liệu, việc đầu tiên là định nghĩa vấn đề: phát biểu rõ vấn đề kinh doanh hay khoa học cần giải, phạm vi của nó và vì sao nó quan trọng, vì mọi bước sau đều dựa trên phát biểu này. Chỗ dễ tranh cãi là "Ask the Right Questions": đặt đúng câu hỏi là tinh thần chung xuyên suốt cả giai đoạn tìm vấn đề, nên nhiều người coi nó là bước khởi đầu, nhưng nó là cách làm áp dụng ở mọi bước chứ không phải một bước riêng đứng đầu; phải có vấn đề được định nghĩa thì mới biết câu hỏi nào là đúng. "Assess the Situation" là đánh giá nguồn lực, dữ liệu sẵn có, rủi ro và ràng buộc, chỉ làm được khi đã biết vấn đề là gì. "Define Goals" là đặt mục tiêu và tiêu chí thành công đo được, cũng đến sau khi vấn đề đã được định nghĩa.

Đáp án đúng: "Data quality". Chất lượng dữ liệu (data quality) là mảng quản lý dữ liệu lớn lo cho dữ liệu chính xác, nhất quán giữa các nguồn và đáng tin cậy, thông qua kiểm tra, làm sạch, loại trùng, chuẩn hoá định dạng và giám sát liên tục. "Data ingestion" là khâu nạp dữ liệu từ nguồn vào hệ thống, quan tâm số lượng nguồn, tốc độ và định dạng đầu vào; có thể kiểm tra sơ bộ khi nạp nhưng mục tiêu chính không phải bảo đảm tính đúng. "Data operations" là các thao tác vận hành trên dữ liệu như lọc, gộp, biến đổi, truy vấn. "Data scalability" là khả năng hệ thống lưu trữ và xử lý mở rộng theo khối lượng dữ liệu tăng, chẳng hạn bằng cách thêm máy, liên quan đến dung lượng và hiệu năng chứ không phải độ chính xác.

Đáp án đúng: "Machine Data, Organizational Data, and People". Các nguồn dữ liệu lớn thường được chia ba nhóm: dữ liệu máy (machine data) do cảm biến, thiết bị, nhật ký hệ thống sinh ra tự động với tốc độ cao; dữ liệu tổ chức (organizational data) như giao dịch, hồ sơ khách hàng, tồn kho của doanh nghiệp, thường có cấu trúc và nằm trong các cơ sở dữ liệu; và dữ liệu do con người (people) tạo ra như mạng xã hội, email, ảnh, phần lớn phi cấu trúc. "Information Networks, Map Data, and People" dùng hai mục chỉ là ví dụ dữ liệu cụ thể chứ không phải nhóm nguồn. "Machine Data, Map Data, and Social Media" thiếu dữ liệu tổ chức, còn bản đồ và mạng xã hội chỉ là ví dụ thuộc nhóm máy và nhóm con người. "Sensor Data, Organizational Data, and Social Media" dùng ví dụ hẹp thay cho tên nhóm: cảm biến chỉ là một phần của dữ liệu máy, mạng xã hội chỉ là một phần của dữ liệu con người.

Đáp án đúng: "The abnormality or uncertainties of data.". Veracity (tính xác thực) là chữ V nói về chất lượng và độ tin cậy của dữ liệu: dữ liệu lớn gom từ nhiều nguồn nên thường có nhiễu, giá trị bất thường, thiếu sót, mâu thuẫn và độ bất định, cần làm sạch và đánh giá trước khi dùng để ra quyết định. "The connectedness of data." là valence (tính liên kết), mức độ các phần tử dữ liệu nối với nhau, ví dụ trong mạng xã hội. "The speed at which data is produced." là velocity (tốc độ), nói về dữ liệu được sinh ra và cần xử lý nhanh tới mức nào. "The size of the data." là volume (khối lượng), độ lớn của dữ liệu. Ba đặc trưng đó mô tả hình thái và quy mô, còn chỉ veracity nói về mức đáng tin của dữ liệu.

Đáp án đúng: "Integration -> Personalization -> Precision". Ví dụ tiêu biểu là y học chính xác (precision medicine): các dòng dữ liệu (data streams) từ hồ sơ bệnh án, xét nghiệm gen, thiết bị đeo, cảm biến môi trường trước hết được tích hợp (integration) lại; có bức tranh tích hợp của từng người thì mới cá nhân hoá (personalization) được; và cá nhân hoá dẫn tới chẩn đoán, điều trị chính xác (precision) cho đúng người đó. Chỗ dễ nhầm nhất là "Big Data -> Better Models -> Higher Precision", vốn hay bị ghi làm đáp án: nó là cách tóm tắt một quy trình khác, rằng nhiều dữ liệu giúp mô hình tốt hơn và dự đoán chính xác hơn, chứ không mô tả quá trình sử dụng các dòng dữ liệu bắt đầu bằng khâu tích hợp. "Theory -> Models -> Precise Advice" mô tả hướng đi từ lý thuyết xuống, không xuất phát từ dữ liệu. "Extrapolation -> Understanding -> Reproducing" sai vì ngoại suy (extrapolation) là suy rộng ra ngoài vùng dữ liệu có sẵn, không phải bước đầu khi dùng các dòng dữ liệu, và chuỗi này không dẫn tới tính chính xác.

Đáp án đúng: "Being able to use personalized data from every single customer for personalized marketing needs". Personalized marketing (marketing cá nhân hoá) nhờ dữ liệu lớn nghĩa là thu thập, lưu trữ và phân tích dữ liệu riêng của từng khách hàng như lịch sử mua, hành vi duyệt web, vị trí, rồi dựa vào đó đưa ra thông điệp riêng cho từng người; làm được điều này với hàng triệu khách hàng chính là việc của hạ tầng dữ liệu lớn, nên phương án này nêu đúng cả hai vế. Chỗ dễ tranh cãi là "Marketing to each customer on an individual level and suiting to their needs": một số tài liệu ôn tập ghi nó là đáp án và nó không sai về marketing cá nhân hoá, nhưng nó chỉ mô tả marketing cá nhân hoá nói chung mà không nêu vai trò của dữ liệu, trong khi câu hỏi nhắm vào chữ powered by big data. "Personalized marketing addressing individual customer needs" cũng chỉ lặp lại định nghĩa chung, không nói tới dữ liệu. Còn mảnh "for groups of consumers and utilize it" mô tả marketing theo phân khúc (segmentation), nhắm vào nhóm người tiêu dùng chứ không phải từng cá nhân.

Đáp án đúng: "Data accuracy/trustworthiness". Veracity (tính xác thực) là một trong các chữ V của dữ liệu lớn, chỉ mức độ chính xác, đáng tin cậy và chất lượng của dữ liệu: dữ liệu có bị nhiễu, thiếu, mâu thuẫn hay đến từ nguồn không tin được hay không. Dữ liệu lớn gom từ nhiều nguồn khác nhau nên veracity thường thấp và phải làm sạch, đối chiếu trước khi phân tích. "Data format" thuộc về variety (tính đa dạng), tức dữ liệu có nhiều dạng như bảng, văn bản, ảnh, đồ thị. "Data size" là volume (khối lượng), độ lớn tính bằng terabyte hay petabyte. "Data transfer rate" gần với velocity (tốc độ), tức tốc độ dữ liệu được sinh ra và phải xử lý. Ba chữ V đó mô tả quy mô và hình thức, không nói gì về việc dữ liệu đúng hay sai.

Đáp án đúng: "Facebook reveals posts that cater towards similar interests.". Tiếp thị cá nhân hoá dựa trên dữ liệu lớn nghĩa là hệ thống tự thu thập lượng lớn dấu vết hành vi của từng người như lượt thích, bình luận, thời gian xem, mạng bạn bè, rồi dùng mô hình gợi ý để chọn nội dung hợp với sở thích riêng của người đó; bảng tin Facebook ưu tiên bài viết tương tự những gì người dùng đã tương tác là ví dụ điển hình. "News outlets gather information from the internet to report it to the public." là hoạt động báo chí đưa cùng một tin cho mọi người, không phải tiếp thị và không nhắm tới từng cá nhân. "A survey that asks your age and markets a specific brand to you." chỉ dựa vào một thuộc tính nhân khẩu do người dùng tự khai, tức là phân khúc theo nhóm tuổi kiểu truyền thống chứ không khai thác dữ liệu hành vi quy mô lớn. "Survey collecting age for brand-specific marketing." diễn đạt lại đúng ý trên, cũng là khảo sát nhỏ theo nhóm tuổi nên cũng không phải cá nhân hoá bằng dữ liệu lớn.

Đáp án đúng: "Large and complex". Dữ liệu lớn (big data) chỉ những tập dữ liệu lớn và phức tạp tới mức công cụ truyền thống khó lưu trữ, xử lý và phân tích, thường được mô tả bằng các chữ V: volume (khối lượng), velocity (tốc độ sinh dữ liệu), variety (đa dạng định dạng), veracity (độ tin cậy) và value (giá trị). "Small and structured" ngược hẳn với định nghĩa: dữ liệu nhỏ và có cấu trúc gọn gàng là thứ một cơ sở dữ liệu quan hệ trên một máy xử lý tốt. "Only in spreadsheets" sai vì bảng tính chỉ chứa được lượng dữ liệu nhỏ, trong khi dữ liệu lớn đến từ cảm biến, log, mạng xã hội, giao dịch. "Only audio/video files" sai vì âm thanh, video chỉ là một phần của dữ liệu phi cấu trúc; dữ liệu lớn gồm cả văn bản, bảng quan hệ, JSON, đồ thị, chuỗi thời gian.

Đáp án đúng: "Machine Data, Organizational Data, and People". Nguồn dữ liệu lớn thường được chia thành ba nhóm: dữ liệu do máy sinh ra như cảm biến, thiết bị IoT, nhật ký hệ thống, vệ tinh; dữ liệu của tổ chức như giao dịch, hồ sơ khách hàng, dữ liệu vận hành trong doanh nghiệp; và dữ liệu do con người tạo ra như bài đăng mạng xã hội, email, ảnh, video, đánh giá. "Machine Data, Map Data, and Social Media" sai vì dữ liệu bản đồ chỉ là một dạng dữ liệu cụ thể, còn mạng xã hội là một phần của nhóm dữ liệu con người. "Information Networks, Map Data, and People" sai vì mạng thông tin và dữ liệu bản đồ không phải hai nhóm nguồn gốc, đồng thời thiếu hẳn dữ liệu máy và dữ liệu tổ chức. "Sensor Data, Organizational Data, and Social Media" dùng hai mục con thay cho nhóm lớn: cảm biến chỉ là một loại dữ liệu máy, mạng xã hội chỉ là một loại dữ liệu con người.

Đáp án đúng: "Companies can't afford to own, maintain, and spend the energy to support large data storage unless the cost is sufficiently low.". Lưu trữ dữ liệu lớn đòi hỏi mua ổ đĩa, xây trung tâm dữ liệu, bảo trì và trả tiền điện cho hàng nghìn máy; chỉ khi giá lưu trữ trên mỗi đơn vị dung lượng giảm đủ sâu thì doanh nghiệp mới có thể giữ toàn bộ dữ liệu thay vì phải chọn lọc rồi xoá bớt, nên tỉ lệ dung lượng trên giá là điều kiện kinh tế làm dữ liệu lớn khả thi. Đây là chỗ dễ tranh cãi: "Lower prices mean larger storage becomes easier to access for everyone" cũng nói giá lưu trữ giảm làm dữ liệu lớn khả thi và một số tài liệu ôn tập ghi nó là đáp án, nhưng nó nhấn vào khả năng tiếp cận của mọi người và dịch vụ phía khách hàng, còn lý do cốt lõi là chi phí sở hữu và vận hành của tổ chức. "Larger storage means easier accessibility to big data for every user" lạc sang việc người dùng tải hàng loạt, không liên quan tới chi phí. "It isn't; it was just an arbitrary example of big data usage." sai vì giá lưu trữ giảm là một động lực chính khiến dữ liệu lớn bùng nổ.

Đáp án đúng: "Excel". Công cụ dữ liệu lớn được thiết kế để lưu trữ và xử lý dữ liệu phân tán trên nhiều máy, mở rộng theo chiều ngang khi dữ liệu tăng; Excel là bảng tính chạy trên một máy, giới hạn khoảng một triệu dòng mỗi trang tính và không có cơ chế phân tán hay chịu lỗi, nên không thuộc nhóm này. "Hadoop" là nền tảng gồm hệ tệp phân tán HDFS, bộ quản lý tài nguyên YARN và mô hình lập trình MapReduce, chính là xương sống của hệ sinh thái dữ liệu lớn. "Spark" là động cơ xử lý phân tán trong bộ nhớ với RDD, Spark SQL, MLlib, nhanh hơn MapReduce nhiều lần ở bài toán lặp. "Pig" là công cụ trong hệ sinh thái Hadoop, cho viết luồng xử lý bằng ngôn ngữ kịch bản Pig Latin rồi biên dịch thành các job MapReduce chạy trên cụm.

Đáp án đúng: "Flume". Apache Flume là dịch vụ phân tán dùng để thu thập, gom và chuyển liên tục khối lượng lớn dữ liệu dòng như log máy chủ, sự kiện ứng dụng vào HDFS hoặc HBase gần như theo thời gian thực, với kiến trúc source, channel, sink. "Sqoop" dùng để chuyển dữ liệu theo lô giữa cơ sở dữ liệu quan hệ và Hadoop, mỗi lần chạy là một đợt nhập hoặc xuất, không phải thu thập liên tục. "Hive" là công cụ kho dữ liệu cho phép truy vấn dữ liệu trên Hadoop bằng ngôn ngữ giống SQL (HiveQL), thuộc tầng phân tích chứ không thu thập dữ liệu. "HDFS" là hệ thống tệp phân tán của Hadoop, nơi lưu dữ liệu sau khi đã được thu về, chứ bản thân nó không đi lấy dữ liệu từ nguồn bên ngoài.

Đáp án đúng: "Aggregates output". Trong MapReduce, hàm map biến mỗi bản ghi đầu vào thành các cặp khoá–giá trị trung gian; sau pha shuffle and sort, mọi giá trị cùng khoá được gom về một reducer, và hàm reduce tổng hợp danh sách giá trị đó thành kết quả cuối, ví dụ trong bài đếm từ nó cộng các số 1 của cùng một từ để ra tổng số lần xuất hiện. "Sorts input" sai vì việc sắp xếp theo khoá do framework làm trong pha shuffle and sort, trước khi reduce được gọi, chứ không phải nhiệm vụ của hàm reduce. "Maps keys to values" là mô tả của hàm map, bước sinh ra các cặp khoá–giá trị. "Stores data" sai vì lưu trữ thuộc về HDFS; reduce chỉ ghi kết quả của nó ra hệ thống tệp ở bước cuối, bản thân nó là phép tính tổng hợp.