BDI302cChưa đo Cập nhật 2 ngày trước
BDI302c - Dữ liệu lớn
175Câu hỏi
3Bộ đề
13Chủ đề
Câu hỏi của môn
84/175 câuCòn 91
65What is the benefit of a commodity cluster4 lựa chọn
APrevents network connection failure
BMuch faster than a traditional super computer
CPrevents individual component failures
DEnables fault tolerance
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "Enables fault tolerance". Cụm máy phổ thông (commodity cluster) gồm nhiều máy tính rẻ tiền nối mạng; vì linh kiện rẻ nên hỏng hóc là chuyện thường, và phần mềm như Hadoop được thiết kế để chịu lỗi (fault tolerance): HDFS nhân bản mỗi khối dữ liệu ra nhiều nút, tác vụ hỏng được giao lại cho nút khác, nên cả hệ vẫn chạy khi vài máy chết. "Prevents network connection failure" sai vì cụm không ngăn được sự cố mạng; nó chỉ chịu đựng được khi sự cố xảy ra. "Much faster than a traditional super computer" sai vì từng máy phổ thông yếu hơn và mạng chậm hơn siêu máy tính; ưu thế là chi phí thấp và khả năng mở rộng ngang, không phải tốc độ tuyệt đối. "Prevents individual component failures" sai vì cụm không làm linh kiện bớt hỏng, ngược lại nó giả định hỏng hóc sẽ xảy ra và xử lý bằng dư thừa.
66What reasoning was given for the following: why is the "data storage to price ratio" relevant to big data?4 lựa chọn
ACompanies can't afford to own, maintain, and spend the energy to support large data storage unless the cost is sufficiently low.
BLarger storage means easier accessibility to big data for every user because it allows users to download in bulk.
CIt isn't, it was just an arbitrary example on big data usage.
DAccess of larger storage becomes easier for everyone, which means client-facing services require very large data storage.
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "Companies can't afford to own, maintain, and spend the energy to support large data storage unless the cost is sufficiently low.". Dữ liệu lớn chỉ trở thành hiện thực khi giá mỗi gigabyte lưu trữ giảm mạnh; nếu chi phí mua thiết bị, bảo trì và điện năng còn cao thì doanh nghiệp không đủ sức giữ lại khối dữ liệu khổng lồ để phân tích, nên tỉ lệ dung lượng trên giá là điều kiện kinh tế nền tảng của dữ liệu lớn cùng với điện toán đám mây và phần cứng phổ thông. Phương án "allows users to download in bulk" sai vì vấn đề không phải tải hàng loạt về máy người dùng, dữ liệu lớn thường được xử lý tại chỗ trên cụm. "It isn't, it was just an arbitrary example on big data usage." phủ nhận vai trò của chi phí lưu trữ, trong khi đây là một động lực cốt lõi. Phương án "client-facing services require very large data storage" đảo quan hệ nhân quả: lưu trữ rẻ làm dữ liệu lớn khả thi, chứ không phải dịch vụ hướng khách hàng nào cũng buộc phải có kho rất lớn.
67What is the Pareto-Optimality problem?3 lựa chọn
AFind the shortest path from source node to target node.
BFind the best possible path given two or more optimization criteria where neither constraint can be fully optimized simultaneously.
CFind the optimal path that requires going through specific nodes given by the user.
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "Find the best possible path given two or more optimization criteria where neither constraint can be fully optimized simultaneously.". Bài toán tối ưu Pareto xuất hiện khi chọn đường trong đồ thị theo nhiều tiêu chí cùng lúc, ví dụ vừa ngắn nhất về quãng đường vừa rẻ nhất về chi phí: đường ngắn nhất chưa chắc rẻ nhất, nên không có lời giải nào tối ưu mọi tiêu chí. Tập Pareto gồm những đường mà không thể cải thiện một tiêu chí mà không làm xấu tiêu chí khác, và người dùng chọn trong tập đó theo ưu tiên của mình. "Find the shortest path from source node to target node." là bài toán đường đi ngắn nhất một tiêu chí, giải bằng thuật toán Dijkstra. "Find the optimal path that requires going through specific nodes given by the user." là bài toán đường đi có ràng buộc phải qua các nút cho trước, chỉ thêm điều kiện vào bài toán tối ưu một tiêu chí chứ không có sự đánh đổi giữa nhiều tiêu chí.
AJoin
BNot an Operation
CSubsetting
DUnion
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "Union". Mỗi tháng tạo ra một lô dữ liệu có cùng các trường Name, Date, Address, Account Number, tức cùng lược đồ; gộp mười hai lô thành một tập cho cả năm là phép hợp (union), xếp các bản ghi của lô này nối dưới lô kia. Phép union theo nghĩa tập hợp, như UNION trong SQL khác với UNION ALL, còn loại các bản ghi trùng, đúng với yêu cầu bỏ những bản ghi lặp số tài khoản giữa các tháng. "Join" ghép các cột của hai bảng theo một khoá chung để mở rộng mỗi bản ghi, trong khi ở đây không có bảng nào bổ sung trường mới. "Subsetting" là lấy ra một tập con các bản ghi hoặc trường thoả điều kiện, không gộp nhiều lô lại. "Not an Operation" sai vì gộp các lô và khử trùng là một phép biến đổi dữ liệu thật sự.
69What is the job of the NameNode?3 lựa chọn
ACoordinate operations and assigns tasks to Data Nodes
BListens from DataNode for block creation, deletion, and replication.
CFor gene sequencing calculations.
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "Coordinate operations and assigns tasks to Data Nodes". NameNode là nút chủ của HDFS: nó giữ không gian tên (namespace) gồm cây thư mục, tên tệp, quyền truy cập và bản đồ mỗi tệp gồm những khối nào nằm trên DataNode nào, từ đó điều phối mọi thao tác như mở, đóng, đổi tên tệp và chỉ thị DataNode tạo, xoá hay nhân bản khối. "Listens from DataNode for block creation, deletion, and replication." mô tả ngược vai trò: chính DataNode là nút thực hiện tạo, xoá, nhân bản khối theo lệnh của NameNode; DataNode gửi heartbeat và báo cáo khối (block report) lên NameNode, NameNode có nhận các báo cáo đó nhưng chức năng của nó là ra chỉ thị chứ không phải chờ lệnh từ DataNode. "For gene sequencing calculations." sai vì giải trình tự gen chỉ là một ứng dụng có thể chạy trên Hadoop, không liên quan tới vai trò quản lý siêu dữ liệu của NameNode.
AVolume
BVelocity
CValidity
DVariety
EVeracity
FVisibility
Lời giải
Mở trang câu hỏi này →Đáp án đúng gồm bốn ý: "Volume", "Velocity", "Variety" và "Veracity". Các đặc trưng cốt lõi của dữ liệu lớn được mô tả bằng các chữ V: Volume là khối lượng dữ liệu khổng lồ, Velocity là tốc độ sinh ra và cần xử lý liên tục, Variety là sự đa dạng về định dạng và cấu trúc, Veracity là độ tin cậy, chất lượng và mức không chắc chắn của dữ liệu; chữ V thứ năm thường được kể là Valence (độ liên kết) hoặc Value (giá trị), không có trong danh sách phương án ở đây. "Validity" (tính hợp lệ) là một tiêu chí kiểm tra chất lượng dữ liệu, thường được xem là khía cạnh nhỏ nằm trong Veracity chứ không phải một đặc trưng riêng của mô hình các chữ V. "Visibility" (khả năng nhìn thấy) liên quan tới trực quan hoá hay quyền truy cập dữ liệu, cũng không thuộc các đặc trưng cốt lõi được dùng để định nghĩa dữ liệu lớn.
71HDFS stores data in:4 lựa chọn
AObjects
BFiles
CTables
DBlocks
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "Blocks". HDFS (Hadoop Distributed File System, hệ thống tệp phân tán của Hadoop) cắt mỗi tệp lớn thành các khối (block) kích thước cố định, mặc định 128 MB từ Hadoop 2 trở đi, rồi rải các khối lên nhiều DataNode và sao chép mỗi khối thành ba bản để chịu lỗi; NameNode chỉ giữ siêu dữ liệu cho biết khối nào nằm ở đâu. Chia khối giúp lưu được tệp lớn hơn một ổ đĩa và cho phép xử lý song song từng khối. "Files" là đơn vị người dùng nhìn thấy, nhưng ở tầng lưu trữ vật lý HDFS không giữ nguyên một tệp trên một máy. "Objects" là mô hình của kho đối tượng như Amazon S3. "Tables" là cách tổ chức của cơ sở dữ liệu quan hệ hoặc của Hive, HBase xây phía trên HDFS.
AMobile advertising benefits from data integration with location, which requires big data.
BMobile advertising in and of itself is always associated with big data.
CSince almost everyone owns a cell/mobile phone, the mobile advertising market is large and thus requires big data to contain all the information.
DMobile advertising allows massive cellular/mobile texting to a wide audience, thus providing large amounts of data.
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "Mobile advertising benefits from data integration with location, which requires big data.". Giá trị của quảng cáo trên di động nằm ở chỗ điện thoại cho biết người dùng đang ở đâu, vào lúc nào; tích hợp vị trí theo thời gian thực với lịch sử mua sắm, sở thích và dữ liệu cửa hàng xung quanh cho phép đưa quảng cáo đúng người, đúng chỗ. Việc ghép các dòng dữ liệu vị trí liên tục của hàng triệu thiết bị với nhiều nguồn khác đòi hỏi khối lượng và tốc độ xử lý của dữ liệu lớn. Mảnh "in and of itself is always associated with big data" sai vì quảng cáo di động tự nó không mặc nhiên là dữ liệu lớn, mà nhờ việc tích hợp dữ liệu. Mảnh "Since almost everyone owns a cell/mobile phone" chỉ nói thị trường rộng, mà quy mô thị trường không phải lý do kỹ thuật gắn với dữ liệu lớn. Mảnh "massive cellular/mobile texting to a wide audience" mô tả nhắn tin hàng loạt, một kênh gửi thông điệp, không giải thích vì sao cần phân tích dữ liệu lớn.
ASocial Media
BNewspapers
CIndividual, Unconnected Hospital Databases
DWi-Fi Networks
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "Social Media". Mạng xã hội là ứng dụng dữ liệu lớn điển hình hiện nay: hàng tỷ người dùng liên tục sinh bài viết, ảnh, video, lượt thích, quan hệ kết bạn, đủ các đặc trưng khối lượng, tốc độ và đa dạng; các nền tảng phân tích dữ liệu đó để gợi ý nội dung, quảng cáo nhắm mục tiêu, phát hiện xu hướng và phân tích cảm xúc. "Newspapers" sai vì báo in truyền thống là kênh xuất bản một chiều với lượng nội dung nhỏ, không phải nơi sinh và khai thác dữ liệu quy mô lớn. "Individual, Unconnected Hospital Databases" sai vì giá trị của dữ liệu lớn trong y tế đến từ việc tích hợp nhiều nguồn; các cơ sở dữ liệu bệnh viện rời rạc, không kết nối chính là hiện trạng mà dữ liệu lớn muốn vượt qua. "Wi-Fi Networks" là hạ tầng truyền dẫn giúp dữ liệu di chuyển, bản thân nó không phải ứng dụng phân tích dữ liệu lớn.
74How does one typically work with big data?4 lựa chọn
ABig Data -> Better Models -> Higher Precision
BTheory -> Models -> Precise Advice
CExtrapolation -> Understanding -> Reproducing
DTheory -> Models -> Precise Advice-> Understanding
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "Big Data -> Better Models -> Higher Precision". Cách làm việc với dữ liệu lớn đi từ dữ liệu lên: càng nhiều dữ liệu thực tế thì mô hình học từ dữ liệu càng phủ được nhiều tình huống, dự đoán càng chính xác, nên chuỗi là dữ liệu lớn, mô hình tốt hơn, độ chính xác cao hơn. "Theory -> Models -> Precise Advice" là cách tiếp cận truyền thống từ lý thuyết xuống, dựng mô hình theo giả thuyết rồi suy ra lời khuyên, không lấy dữ liệu làm điểm xuất phát. "Extrapolation -> Understanding -> Reproducing" mô tả quá trình ngoại suy rồi hiểu và tái tạo hiện tượng, không phản ánh việc dùng khối dữ liệu lớn để cải thiện mô hình. "Theory -> Models -> Precise Advice-> Understanding" chỉ thêm bước hiểu biết vào cuối chuỗi lý thuyết dẫn đường, vẫn là lối tư duy từ lý thuyết chứ không phải từ dữ liệu.
AHDFS
BPig
CHive
DExcel
ECassandra
FKafka
Lời giải
Mở trang câu hỏi này →Đáp án đúng gồm bốn ý: "HDFS", "Pig", "Hive" và "Cassandra". HDFS là tầng lưu trữ phân tán nền tảng của Hadoop; Hive đặt lược đồ bảng lên dữ liệu trong HDFS và cho truy vấn bằng HiveQL kiểu SQL; Cassandra là cơ sở dữ liệu NoSQL dạng cột rộng phân tán, vừa lưu vừa truy vấn bằng CQL. Pig không tự lưu dữ liệu mà là ngôn ngữ xử lý Pig Latin chạy trên dữ liệu đã nằm trong HDFS, nên được tính vào nhóm công cụ truy vấn và xử lý của hệ lưu trữ đó. "Kafka" dễ bị nhầm vì có giữ thông điệp trên đĩa một thời gian, nhưng nó là nền tảng truyền thông điệp và luồng sự kiện theo kiểu publish subscribe, dùng để vận chuyển dữ liệu giữa các hệ thống chứ không phải công cụ lưu trữ và truy vấn, nên bị loại. "Excel" là bảng tính trên máy cá nhân, mỗi trang tính giới hạn khoảng một triệu dòng, không chịu được quy mô dữ liệu lớn.
76Which of the following best describes a way to create and use a validation set to avoid overfitting?4 lựa chọn
Aleave-one-out cross-validation
Brandom sub-sampling
Ck-fold cross-validation
DAll of the others
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "All of the others". Để tránh overfitting (quá khớp), ta giữ lại một phần dữ liệu không dùng để huấn luyện làm validation set (tập kiểm định) và đo lỗi trên đó; cả ba kỹ thuật được nêu đều là cách tạo và dùng tập này. "random sub-sampling" lặp lại nhiều lần việc chia ngẫu nhiên dữ liệu thành phần huấn luyện và phần kiểm định rồi lấy trung bình lỗi. "k-fold cross-validation" chia dữ liệu thành k phần bằng nhau, lần lượt dùng mỗi phần làm tập kiểm định và k-1 phần còn lại để huấn luyện, nên mỗi mẫu đều được kiểm định đúng một lần. "leave-one-out cross-validation" là trường hợp đặc biệt của k-fold với k bằng số mẫu, mỗi lần chỉ để riêng một mẫu để kiểm định. Vì cả ba đều đúng, chọn riêng một kỹ thuật là chưa đầy đủ.
77The master node in YARN is called:4 lựa chọn
A
ResourceManagerB
DataNodeC
NodeManagerD
JobTrackerLời giải
Mở trang câu hỏi này →Đáp án đúng: "ResourceManager". YARN (Yet Another Resource Negotiator, bộ điều phối tài nguyên) có kiến trúc chủ–tớ: ResourceManager chạy trên nút chủ, nắm toàn bộ tài nguyên của cụm và dùng bộ lập lịch (scheduler) để cấp container cho từng ứng dụng; mỗi ứng dụng có một ApplicationMaster riêng xin tài nguyên từ ResourceManager. "DataNode" sai vì đó là nút tớ của HDFS, lưu các khối dữ liệu, thuộc tầng lưu trữ chứ không phải YARN. "NodeManager" là nút tớ của YARN chạy trên từng máy, khởi tạo và giám sát container rồi báo cáo về ResourceManager, nên không phải nút chủ. "JobTracker" là nút chủ của MapReduce thế hệ đầu (Hadoop 1), gộp cả quản lý tài nguyên lẫn theo dõi tác vụ; YARN ra đời chính để tách vai trò đó thành ResourceManager và ApplicationMaster.
Ait is impossible to have consistency, accuracy, and partial tolerance
Bit is necessary to have consistency, accuracy, and partial tolerance
Cit is necessary to have consistency, availability, and partition tolerance
Dit is impossible to have consistency, availability, and partition tolerance
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "it is impossible to have consistency, availability, and partition tolerance". Định lý CAP do Eric Brewer nêu nói rằng một hệ phân tán không thể đồng thời bảo đảm cả ba tính chất: nhất quán (mọi nút thấy cùng một dữ liệu tại cùng thời điểm), sẵn sàng (mọi yêu cầu đều nhận được phản hồi) và chịu phân mảnh mạng (hệ vẫn chạy khi mạng giữa các nút bị đứt); khi mạng bị chia cắt, hệ buộc phải chọn giữ nhất quán hoặc giữ sẵn sàng. "it is impossible to have consistency, accuracy, and partial tolerance" dùng sai tên hai tính chất, accuracy và partial tolerance không phải thành phần của định lý. "it is necessary to have consistency, accuracy, and partial tolerance" vừa sai tên tính chất vừa đảo nghĩa thành bắt buộc phải có. "it is necessary to have consistency, availability, and partition tolerance" đúng tên ba tính chất nhưng nói ngược nội dung định lý, vốn khẳng định không thể có đủ cả ba cùng lúc.
79What are ziplists in Redis?4 lựa chọn
AA special type of data type that can store up to 512 mb of image data.
BA look up table that is stored as a value in the database. Look up table points to actual values in memory.
CA compressed list that is stored within the value of the database.
DA special type of data type that can store hashes that point to multiple attributes.
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "A compressed list that is stored within the value of the database.". Trong Redis, ziplist là cách mã hoá nén dùng cho các danh sách, hash hay sorted set còn nhỏ: thay vì cấp phát từng nút liên kết riêng, Redis xếp mọi phần tử liền nhau trong một vùng nhớ duy nhất làm giá trị của khoá, tiết kiệm bộ nhớ đáng kể; khi cấu trúc vượt ngưỡng cấu hình, Redis chuyển sang dạng mã hoá thông thường. "A special type of data type that can store up to 512 mb of image data." lẫn với giới hạn 512 MB của một giá trị chuỗi trong Redis; chuỗi có thể chứa dữ liệu nhị phân như ảnh, nhưng đó không phải ziplist. "A look up table that is stored as a value in the database. Look up table points to actual values in memory." tả một bảng tra chứa con trỏ, ngược với ý tưởng của ziplist là đặt giá trị ngay trong khối nén. "A special type of data type that can store hashes that point to multiple attributes." tả kiểu hash, nơi một khoá ánh xạ tới nhiều cặp trường giá trị; hash nhỏ có thể được mã hoá bằng ziplist, nhưng bản thân ziplist không phải kiểu hash.
80What constitutes a community within a graph?4 lựa chọn
AHigh density of nodes at a certain location.
BA neighborhood defined by an integer constant K around a specific node. All K+1 nodes belong in another community.
CA dense amount of edge connections between nodes in a community and a few connections across communities.
DMany anomalous neighborhoods within the same vicinity.
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "A dense amount of edge connections between nodes in a community and a few connections across communities.". Trong phân tích đồ thị, community (cộng đồng) là một nhóm nút liên kết chặt với nhau: số cạnh bên trong nhóm nhiều hơn hẳn số cạnh nối sang nhóm khác, và các thuật toán phát hiện cộng đồng như tối ưu modularity đều đo đúng chênh lệch này. "High density of nodes at a certain location." nói về mật độ nút theo vị trí không gian, trong khi cộng đồng được xác định bằng cấu trúc cạnh chứ không bằng toạ độ. Mảnh "defined by an integer constant K around a specific node" mô tả vùng lân cận k bước quanh một nút (ego network), một khái niệm cục bộ chứ không phải cộng đồng, và việc nút ở bước K+1 thuộc cộng đồng khác là không có căn cứ. "Many anomalous neighborhoods within the same vicinity." thuộc về phát hiện bất thường trên đồ thị, không phải định nghĩa cộng đồng.
81What is one of the primary challenges faced by the energy industry with the integration of smart meters?4 lựa chọn
AData privacy concerns
BDecreased energy demand
CLack of consumer awareness
DHigh cost of deployment
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "Data privacy concerns". Đồng hồ điện thông minh (smart meter) ghi mức tiêu thụ theo từng khoảng ngắn, vài phút tới một giờ, rồi gửi về công ty điện; chuỗi số liệu chi tiết đó cho phép suy ra thói quen sinh hoạt như giờ ngủ, giờ vắng nhà, thiết bị đang dùng, nên quyền riêng tư dữ liệu trở thành thách thức chính khi ngành năng lượng thu thập và phân tích dữ liệu lớn từ hàng triệu hộ. "Decreased energy demand" sai vì nhu cầu năng lượng giảm không phải hệ quả tất yếu của việc lắp đồng hồ thông minh, và nếu có tiết kiệm thì đó là lợi ích chứ không phải thách thức. "Lack of consumer awareness" có thể gặp trong thực tế nhưng không gắn với bản chất dữ liệu mà công nghệ này sinh ra. "High cost of deployment" là chi phí đầu tư có thể lên kế hoạch được, còn thách thức nổi bật xuất phát từ chính dữ liệu là quyền riêng tư.
A
HadoopB
SparkC
MongoDBD
MapReduceE
HiveF
RDBMSLời giải
Mở trang câu hỏi này →Đáp án đúng gồm bốn ý: "Hadoop", "Spark", "MapReduce" và "Hive". Khung xử lý dữ liệu phân tán chia việc ra nhiều máy trong cụm và chạy song song: Hadoop cung cấp HDFS, YARN và MapReduce; MapReduce là mô hình lập trình chia bài toán thành pha map và pha reduce; Spark là động cơ xử lý phân tán trong bộ nhớ. Hive thì nói cho đúng là tầng truy vấn kiểu SQL (HiveQL) đặt trên các khung đó, biên dịch truy vấn thành job MapReduce, Tez hoặc Spark chứ tự nó không phải động cơ thực thi; tuy vậy xét theo nhóm công cụ xử lý dữ liệu lớn phân tán thì Hive gần với nhóm này hơn hẳn hai lựa chọn kia nên vẫn được tính. "MongoDB" là cơ sở dữ liệu NoSQL hướng tài liệu, việc chính là lưu trữ và truy vấn bản ghi, không phải khung xử lý tính toán phân tán. "RDBMS" là hệ quản trị cơ sở dữ liệu quan hệ như MySQL hay PostgreSQL, thường chạy tập trung với lược đồ cố định và giao dịch ACID, không được thiết kế làm khung xử lý dữ liệu lớn.
83Which aspect of data quality is crucial for ensuring the trustworthiness of big data applications?4 lựa chọn
AAccuracy
BVolume
CVelocity
DRetention
Lời giải
Mở trang câu hỏi này →Đáp án đúng: "Accuracy". Ứng dụng dữ liệu lớn chỉ đáng tin khi kết quả phản ánh đúng thực tế, và điều đó phụ thuộc trước hết vào độ chính xác (accuracy) của dữ liệu đầu vào: giá trị sai, trùng lặp, thiếu hay nhiễu sẽ dẫn tới phân tích sai theo nguyên tắc rác vào thì rác ra; đây là phần Veracity (độ xác thực) trong các chữ V. "Volume" là khối lượng dữ liệu; nhiều dữ liệu hơn không làm dữ liệu đáng tin hơn nếu bản thân nó sai. "Velocity" là tốc độ sinh và xử lý dữ liệu, liên quan tới tính kịp thời chứ không phải tính đúng. "Retention" là chính sách lưu giữ dữ liệu trong bao lâu, phục vụ tuân thủ pháp lý và kiểm soát chi phí lưu trữ, không quyết định dữ liệu có chính xác hay không.
84Which component stores data in HDFS?4 lựa chọn
A
NameNodeB
DataNodeC
ZookeeperD
FlumeLời giải
Mở trang câu hỏi này →Đáp án đúng: "DataNode". HDFS (Hadoop Distributed File System) chia mỗi tệp thành các khối (block), mặc định 128 MB, và các khối này được lưu thật sự trên đĩa của các DataNode, mỗi khối được sao chép thường là ba bản trên các máy khác nhau; DataNode cũng phục vụ yêu cầu đọc ghi khối và gửi heartbeat định kỳ báo còn sống. "NameNode" chỉ giữ siêu dữ liệu (metadata) như cây thư mục, tên tệp và bảng ánh xạ khối nào nằm ở DataNode nào, chứ không chứa nội dung dữ liệu. "Zookeeper" là dịch vụ điều phối phân tán dùng cho bầu chọn leader, quản lý cấu hình và khoá, ví dụ hỗ trợ NameNode dự phòng, không lưu dữ liệu người dùng. "Flume" là công cụ thu thập và chuyển dữ liệu dòng vào HDFS, tức đứng ở phía nạp dữ liệu chứ không phải nơi lưu trữ.