BDI302c - Dữ liệu lớn
BDI302c - Dữ liệu lớn (Big Data) là môn 3 tín chỉ bậc cử nhân của Đại học FPT, không yêu cầu môn học trước. Bài toán đặt ra là: khi nhật ký nhấp chuột của một trang bán hàng, số đo từ hàng nghìn cảm biến hay bài đăng mạng xã hội dồn về nhanh tới mức một máy chủ không còn chứa nổi, cũng không đọc kịp, thì cách làm quen thuộc với một cơ sở dữ liệu trên một máy phải nhường chỗ cho lối nghĩ khác. Câu hỏi đầu tiên là nên lưu dữ liệu ở dạng nào, vì một tài liệu JSON và một đồ thị đặt ra những ràng buộc khác nhau và cho phép những thao tác khác nhau. Chọn hệ quản lý cho dữ liệu lớn thường đồng nghĩa với việc nới tính nhất quán chặt của giao dịch để đổi lấy khả năng chạy trên hàng trăm máy. Tiếp theo là cách tính toán khi dữ liệu đã bị chia thành khối và rải khắp cụm máy: đưa phép tính tới chỗ dữ liệu nằm, viết chương trình đếm từ theo mô hình MapReduce để thấy vì sao dữ liệu trung gian phải đi qua mạng giữa các máy, rồi so với Spark, nơi tập dữ liệu phân tán được giữ trong bộ nhớ và chỉ thật sự được tính khi gặp một lệnh lấy kết quả. Mạng lưới bạn bè hay tuyến giao thông được nhìn như tập đỉnh và cạnh để tìm đường đi ngắn nhất, nút có ảnh hưởng lớn và những cộng đồng gắn kết. Ở mảng học máy, người học huấn luyện cây quyết định trên dữ liệu thật, so độ chính xác trên tập huấn luyện với tập kiểm định để nhận ra mô hình học thuộc lòng dữ liệu, đọc ma trận nhầm lẫn để biết nó hay nhầm lớp nào sang lớp nào, và trước đó là thăm dò, làm sạch, bù giá trị thiếu, bởi một mô hình chỉ tốt bằng dữ liệu đưa vào nó. Khi dữ liệu về một khách hàng nằm rải ở nhiều nguồn, người học tập ghép lược đồ và nhận ra những bản ghi khác nhau thật ra chỉ cùng một người. Các công cụ đi kèm gồm Neo4j, Hive, KNIME, HDFS, MongoDB, Spark SQL, Pig và YARN. Học xong, người học chọn được mô hình lưu trữ và nền tảng xử lý hợp với khối lượng, tốc độ của dữ liệu đang có, viết được một tác vụ MapReduce hay Spark đơn giản, đánh giá một mô hình phân loại bằng con số thay vì cảm giác, và biến một bài toán về quan hệ giữa các đối tượng thành truy vấn trên đồ thị.