BDI302c - Phần 3: Hadoop và nền tảng lập trình cho dữ liệu lớn

Một hệ thống cho dữ liệu lớn phải chạy trên cụm máy thường, chịu được việc vài máy hỏng bất cứ lúc nào và đưa phép tính tới chỗ dữ liệu đang nằm thay vì kéo dữ liệu qua mạng. Ý tưởng tính toán của Hadoop là MapReduce: pha map xử lý song song từng mảnh dữ liệu ngay trên máy giữ nó, pha reduce gom các kết quả trung gian theo khoá, như khi đếm từ trong hàng triệu trang. Để làm được vậy, HDFS cắt tệp thành khối lớn và chép mỗi khối ra vài máy, nên một máy chết không làm mất dữ liệu; NameNode nắm khối nào đang nằm ở đâu. Việc chia CPU và bộ nhớ cho từng tác vụ do YARN đảm nhận, với NodeManager trông từng máy và Container là phần tài nguyên cấp cho một tác vụ. Hive bên trên cho phép viết truy vấn kiểu SQL thay vì tự viết map và reduce. Spark ở Phần 8 là bước tiếp theo của mô hình này.