BDI302cChưa đo Cập nhật 1 ngày trước

BDI302c - Dữ liệu lớn

BDI302c - Dữ liệu lớn (Big Data) là môn 3 tín chỉ bậc cử nhân của Đại học FPT, không yêu cầu môn học trước. Bài toán đặt ra là: khi nhật ký nhấp chuột của một trang bán hàng, số đo từ hàng nghìn cảm biến hay bài đăng mạng xã hội dồn về nhanh tới mức một máy chủ không còn chứa nổi, cũng không đọc kịp, thì cách làm quen thuộc với một cơ sở dữ liệu trên một máy phải nhường chỗ cho lối nghĩ khác. Câu hỏi đầu tiên là nên lưu dữ liệu ở dạng nào, vì một tài liệu JSON và một đồ thị đặt ra những ràng buộc khác nhau và cho phép những thao tác khác nhau. Chọn hệ quản lý cho dữ liệu lớn thường đồng nghĩa với việc nới tính nhất quán chặt của giao dịch để đổi lấy khả năng chạy trên hàng trăm máy. Tiếp theo là cách tính toán khi dữ liệu đã bị chia thành khối và rải khắp cụm máy: đưa phép tính tới chỗ dữ liệu nằm, viết chương trình đếm từ theo mô hình MapReduce để thấy vì sao dữ liệu trung gian phải đi qua mạng giữa các máy, rồi so với Spark, nơi tập dữ liệu phân tán được giữ trong bộ nhớ và chỉ thật sự được tính khi gặp một lệnh lấy kết quả. Mạng lưới bạn bè hay tuyến giao thông được nhìn như tập đỉnh và cạnh để tìm đường đi ngắn nhất, nút có ảnh hưởng lớn và những cộng đồng gắn kết. Ở mảng học máy, người học huấn luyện cây quyết định trên dữ liệu thật, so độ chính xác trên tập huấn luyện với tập kiểm định để nhận ra mô hình học thuộc lòng dữ liệu, đọc ma trận nhầm lẫn để biết nó hay nhầm lớp nào sang lớp nào, và trước đó là thăm dò, làm sạch, bù giá trị thiếu, bởi một mô hình chỉ tốt bằng dữ liệu đưa vào nó. Khi dữ liệu về một khách hàng nằm rải ở nhiều nguồn, người học tập ghép lược đồ và nhận ra những bản ghi khác nhau thật ra chỉ cùng một người. Các công cụ đi kèm gồm Neo4j, Hive, KNIME, HDFS, MongoDB, Spark SQL, Pig và YARN. Học xong, người học chọn được mô hình lưu trữ và nền tảng xử lý hợp với khối lượng, tốc độ của dữ liệu đang có, viết được một tác vụ MapReduce hay Spark đơn giản, đánh giá một mô hình phân loại bằng con số thay vì cảm giác, và biến một bài toán về quan hệ giữa các đối tượng thành truy vấn trên đồ thị.

175Câu hỏi

3Bộ đề

13Chủ đề

Câu hỏi của môn

44/175 câuCòn 131

25What is the global indexing table?4 lựa chọn

AA global table that uses a specific technique called indexing and the table uses an index as the primary key.

BAn index table in order to keep track of a given data type that might exist within multiple machines.

CAn index table in order to keep track of data records within one machine.

DAn index table in order to keep track of a given data type that might exist within one machine.

Lời giải

Đáp án đúng: "An index table in order to keep track of a given data type that might exist within multiple machines.". Trong hệ quản lý dữ liệu lớn phân tán, dữ liệu được chia mảnh (partition) ra nhiều máy; chỉ mục cục bộ (local index) chỉ biết bản ghi nằm đâu trong một máy, nên muốn tìm theo một thuộc tính phải hỏi tất cả các máy. Bảng chỉ mục toàn cục (global indexing table) ghi lại một loại dữ liệu hay một giá trị khoá có thể nằm ở những máy nào trong cụm, nhờ đó truy vấn được chuyển thẳng tới đúng các nút cần thiết. "A global table that uses a specific technique called indexing and the table uses an index as the primary key." sai vì chỉ diễn giải chữ nghĩa của cái tên; dùng chỉ mục làm khoá chính là chuyện của bảng nào cũng có, không nói lên vai trò theo dõi dữ liệu xuyên nhiều máy. "An index table in order to keep track of data records within one machine." mô tả chỉ mục cục bộ thông thường của một máy. "An index table in order to keep track of a given data type that might exist within one machine." cũng giới hạn trong một máy, nên mất đúng tính toàn cục là phạm vi của cả cụm.