Tất cả câu hỏi

Đáp án đúng gồm bốn ý: "HDFS", "Pig", "Hive" và "Cassandra". HDFS là tầng lưu trữ phân tán nền tảng của Hadoop; Hive đặt lược đồ bảng lên dữ liệu trong HDFS và cho truy vấn bằng HiveQL kiểu SQL; Cassandra là cơ sở dữ liệu NoSQL dạng cột rộng phân tán, vừa lưu vừa truy vấn bằng CQL. Pig không tự lưu dữ liệu mà là ngôn ngữ xử lý Pig Latin chạy trên dữ liệu đã nằm trong HDFS, nên được tính vào nhóm công cụ truy vấn và xử lý của hệ lưu trữ đó. "Kafka" dễ bị nhầm vì có giữ thông điệp trên đĩa một thời gian, nhưng nó là nền tảng truyền thông điệp và luồng sự kiện theo kiểu publish subscribe, dùng để vận chuyển dữ liệu giữa các hệ thống chứ không phải công cụ lưu trữ và truy vấn, nên bị loại. "Excel" là bảng tính trên máy cá nhân, mỗi trang tính giới hạn khoảng một triệu dòng, không chịu được quy mô dữ liệu lớn.

Đáp án đúng: "Big Data -> Better Models -> Higher Precision". Cách làm việc với dữ liệu lớn đi từ dữ liệu lên: càng nhiều dữ liệu thực tế thì mô hình học từ dữ liệu càng phủ được nhiều tình huống, dự đoán càng chính xác, nên chuỗi là dữ liệu lớn, mô hình tốt hơn, độ chính xác cao hơn. "Theory -> Models -> Precise Advice" là cách tiếp cận truyền thống từ lý thuyết xuống, dựng mô hình theo giả thuyết rồi suy ra lời khuyên, không lấy dữ liệu làm điểm xuất phát. "Extrapolation -> Understanding -> Reproducing" mô tả quá trình ngoại suy rồi hiểu và tái tạo hiện tượng, không phản ánh việc dùng khối dữ liệu lớn để cải thiện mô hình. "Theory -> Models -> Precise Advice-> Understanding" chỉ thêm bước hiểu biết vào cuối chuỗi lý thuyết dẫn đường, vẫn là lối tư duy từ lý thuyết chứ không phải từ dữ liệu.

Đáp án đúng: "Social Media". Mạng xã hội là ứng dụng dữ liệu lớn điển hình hiện nay: hàng tỷ người dùng liên tục sinh bài viết, ảnh, video, lượt thích, quan hệ kết bạn, đủ các đặc trưng khối lượng, tốc độ và đa dạng; các nền tảng phân tích dữ liệu đó để gợi ý nội dung, quảng cáo nhắm mục tiêu, phát hiện xu hướng và phân tích cảm xúc. "Newspapers" sai vì báo in truyền thống là kênh xuất bản một chiều với lượng nội dung nhỏ, không phải nơi sinh và khai thác dữ liệu quy mô lớn. "Individual, Unconnected Hospital Databases" sai vì giá trị của dữ liệu lớn trong y tế đến từ việc tích hợp nhiều nguồn; các cơ sở dữ liệu bệnh viện rời rạc, không kết nối chính là hiện trạng mà dữ liệu lớn muốn vượt qua. "Wi-Fi Networks" là hạ tầng truyền dẫn giúp dữ liệu di chuyển, bản thân nó không phải ứng dụng phân tích dữ liệu lớn.

Đáp án đúng: "Mobile advertising benefits from data integration with location, which requires big data.". Giá trị của quảng cáo trên di động nằm ở chỗ điện thoại cho biết người dùng đang ở đâu, vào lúc nào; tích hợp vị trí theo thời gian thực với lịch sử mua sắm, sở thích và dữ liệu cửa hàng xung quanh cho phép đưa quảng cáo đúng người, đúng chỗ. Việc ghép các dòng dữ liệu vị trí liên tục của hàng triệu thiết bị với nhiều nguồn khác đòi hỏi khối lượng và tốc độ xử lý của dữ liệu lớn. Mảnh "in and of itself is always associated with big data" sai vì quảng cáo di động tự nó không mặc nhiên là dữ liệu lớn, mà nhờ việc tích hợp dữ liệu. Mảnh "Since almost everyone owns a cell/mobile phone" chỉ nói thị trường rộng, mà quy mô thị trường không phải lý do kỹ thuật gắn với dữ liệu lớn. Mảnh "massive cellular/mobile texting to a wide audience" mô tả nhắn tin hàng loạt, một kênh gửi thông điệp, không giải thích vì sao cần phân tích dữ liệu lớn.

Đáp án đúng: "Blocks". HDFS (Hadoop Distributed File System, hệ thống tệp phân tán của Hadoop) cắt mỗi tệp lớn thành các khối (block) kích thước cố định, mặc định 128 MB từ Hadoop 2 trở đi, rồi rải các khối lên nhiều DataNode và sao chép mỗi khối thành ba bản để chịu lỗi; NameNode chỉ giữ siêu dữ liệu cho biết khối nào nằm ở đâu. Chia khối giúp lưu được tệp lớn hơn một ổ đĩa và cho phép xử lý song song từng khối. "Files" là đơn vị người dùng nhìn thấy, nhưng ở tầng lưu trữ vật lý HDFS không giữ nguyên một tệp trên một máy. "Objects" là mô hình của kho đối tượng như Amazon S3. "Tables" là cách tổ chức của cơ sở dữ liệu quan hệ hoặc của Hive, HBase xây phía trên HDFS.

Đáp án đúng gồm bốn ý: "Volume", "Velocity", "Variety" và "Veracity". Các đặc trưng cốt lõi của dữ liệu lớn được mô tả bằng các chữ V: Volume là khối lượng dữ liệu khổng lồ, Velocity là tốc độ sinh ra và cần xử lý liên tục, Variety là sự đa dạng về định dạng và cấu trúc, Veracity là độ tin cậy, chất lượng và mức không chắc chắn của dữ liệu; chữ V thứ năm thường được kể là Valence (độ liên kết) hoặc Value (giá trị), không có trong danh sách phương án ở đây. "Validity" (tính hợp lệ) là một tiêu chí kiểm tra chất lượng dữ liệu, thường được xem là khía cạnh nhỏ nằm trong Veracity chứ không phải một đặc trưng riêng của mô hình các chữ V. "Visibility" (khả năng nhìn thấy) liên quan tới trực quan hoá hay quyền truy cập dữ liệu, cũng không thuộc các đặc trưng cốt lõi được dùng để định nghĩa dữ liệu lớn.

Đáp án đúng: "Coordinate operations and assigns tasks to Data Nodes". NameNode là nút chủ của HDFS: nó giữ không gian tên (namespace) gồm cây thư mục, tên tệp, quyền truy cập và bản đồ mỗi tệp gồm những khối nào nằm trên DataNode nào, từ đó điều phối mọi thao tác như mở, đóng, đổi tên tệp và chỉ thị DataNode tạo, xoá hay nhân bản khối. "Listens from DataNode for block creation, deletion, and replication." mô tả ngược vai trò: chính DataNode là nút thực hiện tạo, xoá, nhân bản khối theo lệnh của NameNode; DataNode gửi heartbeat và báo cáo khối (block report) lên NameNode, NameNode có nhận các báo cáo đó nhưng chức năng của nó là ra chỉ thị chứ không phải chờ lệnh từ DataNode. "For gene sequencing calculations." sai vì giải trình tự gen chỉ là một ứng dụng có thể chạy trên Hadoop, không liên quan tới vai trò quản lý siêu dữ liệu của NameNode.

Đáp án đúng: "Union". Mỗi tháng tạo ra một lô dữ liệu có cùng các trường Name, Date, Address, Account Number, tức cùng lược đồ; gộp mười hai lô thành một tập cho cả năm là phép hợp (union), xếp các bản ghi của lô này nối dưới lô kia. Phép union theo nghĩa tập hợp, như UNION trong SQL khác với UNION ALL, còn loại các bản ghi trùng, đúng với yêu cầu bỏ những bản ghi lặp số tài khoản giữa các tháng. "Join" ghép các cột của hai bảng theo một khoá chung để mở rộng mỗi bản ghi, trong khi ở đây không có bảng nào bổ sung trường mới. "Subsetting" là lấy ra một tập con các bản ghi hoặc trường thoả điều kiện, không gộp nhiều lô lại. "Not an Operation" sai vì gộp các lô và khử trùng là một phép biến đổi dữ liệu thật sự.

Đáp án đúng: "Find the best possible path given two or more optimization criteria where neither constraint can be fully optimized simultaneously.". Bài toán tối ưu Pareto xuất hiện khi chọn đường trong đồ thị theo nhiều tiêu chí cùng lúc, ví dụ vừa ngắn nhất về quãng đường vừa rẻ nhất về chi phí: đường ngắn nhất chưa chắc rẻ nhất, nên không có lời giải nào tối ưu mọi tiêu chí. Tập Pareto gồm những đường mà không thể cải thiện một tiêu chí mà không làm xấu tiêu chí khác, và người dùng chọn trong tập đó theo ưu tiên của mình. "Find the shortest path from source node to target node." là bài toán đường đi ngắn nhất một tiêu chí, giải bằng thuật toán Dijkstra. "Find the optimal path that requires going through specific nodes given by the user." là bài toán đường đi có ràng buộc phải qua các nút cho trước, chỉ thêm điều kiện vào bài toán tối ưu một tiêu chí chứ không có sự đánh đổi giữa nhiều tiêu chí.

Đáp án đúng: "Companies can't afford to own, maintain, and spend the energy to support large data storage unless the cost is sufficiently low.". Dữ liệu lớn chỉ trở thành hiện thực khi giá mỗi gigabyte lưu trữ giảm mạnh; nếu chi phí mua thiết bị, bảo trì và điện năng còn cao thì doanh nghiệp không đủ sức giữ lại khối dữ liệu khổng lồ để phân tích, nên tỉ lệ dung lượng trên giá là điều kiện kinh tế nền tảng của dữ liệu lớn cùng với điện toán đám mây và phần cứng phổ thông. Phương án "allows users to download in bulk" sai vì vấn đề không phải tải hàng loạt về máy người dùng, dữ liệu lớn thường được xử lý tại chỗ trên cụm. "It isn't, it was just an arbitrary example on big data usage." phủ nhận vai trò của chi phí lưu trữ, trong khi đây là một động lực cốt lõi. Phương án "client-facing services require very large data storage" đảo quan hệ nhân quả: lưu trữ rẻ làm dữ liệu lớn khả thi, chứ không phải dịch vụ hướng khách hàng nào cũng buộc phải có kho rất lớn.

Đáp án đúng: "Enables fault tolerance". Cụm máy phổ thông (commodity cluster) gồm nhiều máy tính rẻ tiền nối mạng; vì linh kiện rẻ nên hỏng hóc là chuyện thường, và phần mềm như Hadoop được thiết kế để chịu lỗi (fault tolerance): HDFS nhân bản mỗi khối dữ liệu ra nhiều nút, tác vụ hỏng được giao lại cho nút khác, nên cả hệ vẫn chạy khi vài máy chết. "Prevents network connection failure" sai vì cụm không ngăn được sự cố mạng; nó chỉ chịu đựng được khi sự cố xảy ra. "Much faster than a traditional super computer" sai vì từng máy phổ thông yếu hơn và mạng chậm hơn siêu máy tính; ưu thế là chi phí thấp và khả năng mở rộng ngang, không phải tốc độ tuyệt đối. "Prevents individual component failures" sai vì cụm không làm linh kiện bớt hỏng, ngược lại nó giả định hỏng hóc sẽ xảy ra và xử lý bằng dư thừa.

Đáp án đúng: "Defer Commitment". Câu này thuộc phát triển phần mềm tinh gọn (Lean Software Development), không phải kỹ thuật dữ liệu lớn. Trong các nguyên tắc Lean, Defer Commitment (trì hoãn cam kết) khuyên giữ các phương án mở và chỉ chốt quyết định khó đảo ngược khi đã có đủ thông tin; công cụ The Last Responsible Moment (thời điểm có trách nhiệm cuối cùng) chính là mốc muộn nhất mà nếu chưa quyết thì sẽ mất một phương án quan trọng, nên quyết định được đưa ra đúng lúc đó. "Empower People" là nguyên tắc trao quyền cho đội ngũ tự ra quyết định, không bàn về thời điểm quyết định. "See the Whole" yêu cầu tối ưu toàn bộ dòng giá trị thay vì từng phần riêng lẻ. "Deliver Fast" là rút ngắn chu kỳ giao hàng; giao nhanh giúp trì hoãn cam kết dễ hơn, nhưng thời điểm có trách nhiệm cuối cùng là công cụ của nguyên tắc trì hoãn cam kết.

Đáp án đúng gồm ba ý: "The velocity of the data is very high.", "Very unstructured data." và "Skilled people to analyze the data are hard to come by.". Dữ liệu do con người tạo ra như bài đăng mạng xã hội, email, bình luận, ảnh, video sinh ra với tốc độ rất cao và liên tục; phần lớn là văn bản tự do và đa phương tiện không theo lược đồ cố định nên phải qua nhiều bước trích xuất, chuẩn hoá mới phân tích được; thêm vào đó, hiểu ngôn ngữ, ngữ cảnh, cảm xúc đòi hỏi người có kỹ năng phân tích dữ liệu và học máy, vốn khan hiếm. "They cannot be modeled and stored." sai vì dữ liệu này vẫn lưu và mô hình hoá được, chẳng hạn bằng cơ sở dữ liệu NoSQL, kho tài liệu, HDFS hay mô hình đồ thị cho quan hệ xã hội; cái khó nằm ở chỗ xử lý tốn công, chứ không phải không thể lưu trữ.

Đáp án đúng: "Quick prototyping, deploying, and validating of projects.". Ảnh dựng sẵn (pre-built image) như máy ảo Cloudera QuickStart đóng gói sẵn Hadoop, HDFS, YARN, Hive, Pig, Spark đã cấu hình tương thích nhau, nên người dùng khởi động là có môi trường chạy được ngay, tiết kiệm công cài đặt và cho phép dựng mẫu, triển khai, kiểm chứng dự án nhanh. "Guaranteed hardware support." sai vì ảnh là gói phần mềm, không quyết định hay bảo đảm phần cứng nào được hỗ trợ; máy yếu vẫn chạy chậm hoặc không chạy được. "Less software choices to choose from." không phải lợi ích mà là một hạn chế, ảnh cố định sẵn một bộ phiên bản nên bớt linh hoạt. "Quick prototyping, deploying, and guaranteed bug free." có vế đầu đúng nhưng vế sau sai: không phần mềm nào được bảo đảm hết lỗi, ảnh dựng sẵn chỉ giảm lỗi cấu hình chứ không loại trừ lỗi.

Đáp án đúng: "Map -> Shuffle and Sort -> Reduce". Một tác vụ MapReduce chạy ba bước: Map đọc từng phần dữ liệu đầu vào trên các nút và phát ra các cặp khoá–giá trị trung gian; Shuffle and Sort chuyển các cặp đó qua mạng, gom mọi giá trị cùng khoá về cùng một reducer và sắp xếp theo khoá; cuối cùng Reduce tổng hợp danh sách giá trị của mỗi khoá thành kết quả. "Map -> Reduce -> Shuffle and Sort" sai vì reduce cần dữ liệu đã được gom theo khoá, nên không thể chạy trước bước trộn và sắp xếp. "Shuffle and Sort -> Reduce -> Map" sai vì chưa có map thì chưa có cặp khoá–giá trị nào để trộn. "Shuffle and Sort -> Map -> Reduce" sai vì shuffle tồn tại chính để nối đầu ra của map với đầu vào của reduce, nên nó phải nằm giữa hai bước đó.

Đáp án đúng: "Flume". Apache Flume là dịch vụ phân tán dùng để thu thập, gom và chuyển liên tục khối lượng lớn dữ liệu dòng như log máy chủ, sự kiện ứng dụng vào HDFS hoặc HBase gần như theo thời gian thực, với kiến trúc source, channel, sink. "Sqoop" dùng để chuyển dữ liệu theo lô giữa cơ sở dữ liệu quan hệ và Hadoop, mỗi lần chạy là một đợt nhập hoặc xuất, không phải thu thập liên tục. "Hive" là công cụ kho dữ liệu cho phép truy vấn dữ liệu trên Hadoop bằng ngôn ngữ giống SQL (HiveQL), thuộc tầng phân tích chứ không thu thập dữ liệu. "HDFS" là hệ thống tệp phân tán của Hadoop, nơi lưu dữ liệu sau khi đã được thu về, chứ bản thân nó không đi lấy dữ liệu từ nguồn bên ngoài.

Đáp án đúng: "Neo4j". Neo4j là cơ sở dữ liệu đồ thị (graph database) tiêu biểu: lưu dữ liệu thành các nút (node) và quan hệ (relationship) có hướng, cả hai đều mang thuộc tính, truy vấn bằng ngôn ngữ Cypher theo mẫu đường đi, nên duyệt quan hệ nhiều bước như bạn của bạn rất nhanh mà không cần phép JOIN. "MongoDB" là cơ sở dữ liệu hướng tài liệu (document store), lưu bản ghi dạng tài liệu giống JSON (BSON) trong các collection. "Redis" là kho khoá giá trị (key-value store) nằm trong bộ nhớ, giá trị có thể là chuỗi, danh sách, tập hợp, hash, dùng nhiều làm bộ đệm. "Hive" là kho dữ liệu trên Hadoop, tổ chức dữ liệu thành bảng và truy vấn bằng HiveQL kiểu SQL, không theo mô hình đồ thị.

Đáp án đúng: "Writing data to memory between pipeline steps.". Xử lý trong bộ nhớ (in-memory processing) nghĩa là kết quả trung gian của mỗi bước trong chuỗi xử lý được giữ lại trên RAM để bước sau đọc tiếp, thay vì ghi xuống đĩa rồi đọc lên như MapReduce; Spark làm điều này bằng RDD được lưu đệm, nên bài toán lặp nhanh hơn nhiều. "Writing data to disk between pipeline steps." chính là cách làm của MapReduce truyền thống, ngược với xử lý trong bộ nhớ. "Having the pipeline completely in disk." mô tả toàn bộ chuỗi chạy trên đĩa, càng không phải trong bộ nhớ. "Having the pipeline completely in memory." nghe gần nhưng sai trọng tâm: dữ liệu đầu vào và kết quả cuối vẫn có thể nằm trên HDFS, cái được giữ trong RAM là dữ liệu trung chuyển giữa các bước. "Having the input completely in disk." chỉ nói nơi dữ liệu đầu vào nằm, không nói gì về cách xử lý. "Having the input completely in memory." cũng sai vì không đòi hỏi nạp toàn bộ đầu vào vào RAM, dữ liệu lớn thường không vừa bộ nhớ.

Đáp án đúng: "Large and complex". Dữ liệu lớn (big data) chỉ những tập dữ liệu lớn và phức tạp tới mức công cụ truyền thống khó lưu trữ, xử lý và phân tích, thường được mô tả bằng các chữ V: volume (khối lượng), velocity (tốc độ sinh dữ liệu), variety (đa dạng định dạng), veracity (độ tin cậy) và value (giá trị). "Small and structured" ngược hẳn với định nghĩa: dữ liệu nhỏ và có cấu trúc gọn gàng là thứ một cơ sở dữ liệu quan hệ trên một máy xử lý tốt. "Only in spreadsheets" sai vì bảng tính chỉ chứa được lượng dữ liệu nhỏ, trong khi dữ liệu lớn đến từ cảm biến, log, mạng xã hội, giao dịch. "Only audio/video files" sai vì âm thanh, video chỉ là một phần của dữ liệu phi cấu trúc; dữ liệu lớn gồm cả văn bản, bảng quan hệ, JSON, đồ thị, chuỗi thời gian.

Đáp án đúng: "True". Diameter (đường kính) của đồ thị là độ dài lớn nhất trong số các đường đi ngắn nhất giữa mọi cặp nút, tức khoảng cách xa nhất giữa hai nút khi luôn đi theo lối ngắn nhất. Vì vậy muốn tính đường kính phải bắt đầu bằng việc tìm đường đi ngắn nhất cho từng cặp nút, chẳng hạn chạy BFS từ mọi nút với đồ thị không trọng số hoặc dùng thuật toán Floyd-Warshall với đồ thị có trọng số, rồi lấy giá trị lớn nhất trong ma trận khoảng cách thu được. Ví dụ một đồ thị đường thẳng gồm bốn nút nối tiếp có khoảng cách ngắn nhất giữa hai đầu là 3, và đó là đường kính. "False" không đúng vì không có cách nào xác định khoảng cách lớn nhất này mà bỏ qua bước tính đường đi ngắn nhất giữa các cặp nút.