BDI302cChưa đo Cập nhật 2 ngày trước

BDI302c - Dữ liệu lớn

BDI302c - Dữ liệu lớn (Big Data) là môn 3 tín chỉ bậc cử nhân của Đại học FPT, không yêu cầu môn học trước. Bài toán đặt ra là: khi nhật ký nhấp chuột của một trang bán hàng, số đo từ hàng nghìn cảm biến hay bài đăng mạng xã hội dồn về nhanh tới mức một máy chủ không còn chứa nổi, cũng không đọc kịp, thì cách làm quen thuộc với một cơ sở dữ liệu trên một máy phải nhường chỗ cho lối nghĩ khác. Câu hỏi đầu tiên là nên lưu dữ liệu ở dạng nào, vì một tài liệu JSON và một đồ thị đặt ra những ràng buộc khác nhau và cho phép những thao tác khác nhau. Chọn hệ quản lý cho dữ liệu lớn thường đồng nghĩa với việc nới tính nhất quán chặt của giao dịch để đổi lấy khả năng chạy trên hàng trăm máy. Tiếp theo là cách tính toán khi dữ liệu đã bị chia thành khối và rải khắp cụm máy: đưa phép tính tới chỗ dữ liệu nằm, viết chương trình đếm từ theo mô hình MapReduce để thấy vì sao dữ liệu trung gian phải đi qua mạng giữa các máy, rồi so với Spark, nơi tập dữ liệu phân tán được giữ trong bộ nhớ và chỉ thật sự được tính khi gặp một lệnh lấy kết quả. Mạng lưới bạn bè hay tuyến giao thông được nhìn như tập đỉnh và cạnh để tìm đường đi ngắn nhất, nút có ảnh hưởng lớn và những cộng đồng gắn kết. Ở mảng học máy, người học huấn luyện cây quyết định trên dữ liệu thật, so độ chính xác trên tập huấn luyện với tập kiểm định để nhận ra mô hình học thuộc lòng dữ liệu, đọc ma trận nhầm lẫn để biết nó hay nhầm lớp nào sang lớp nào, và trước đó là thăm dò, làm sạch, bù giá trị thiếu, bởi một mô hình chỉ tốt bằng dữ liệu đưa vào nó. Khi dữ liệu về một khách hàng nằm rải ở nhiều nguồn, người học tập ghép lược đồ và nhận ra những bản ghi khác nhau thật ra chỉ cùng một người. Các công cụ đi kèm gồm Neo4j, Hive, KNIME, HDFS, MongoDB, Spark SQL, Pig và YARN. Học xong, người học chọn được mô hình lưu trữ và nền tảng xử lý hợp với khối lượng, tốc độ của dữ liệu đang có, viết được một tác vụ MapReduce hay Spark đơn giản, đánh giá một mô hình phân loại bằng con số thay vì cảm giác, và biến một bài toán về quan hệ giữa các đối tượng thành truy vấn trên đồ thị.

175Câu hỏi

3Bộ đề

13Chủ đề

Câu hỏi của môn

164/175 câuCòn 11

145What makes trees suitable for semi-structured data like XML/JSON?4 lựa chọn

ATrees take advantage of the parent-child relationship of the data for easy navigation.

BComputers can easily visualize the data with a tree structure.

CIt is not always the case that XML and JSON can be represented as trees.

DThey are only useful for XML data, as a tree-like structure is apparent with tags. While JSON does not contain a tree-like structure as it contains arrays.

Lời giải

Đáp án đúng: "Trees take advantage of the parent-child relationship of the data for easy navigation.". Dữ liệu bán cấu trúc như XML và JSON có tính lồng nhau: phần tử XML chứa phần tử con, đối tượng JSON chứa đối tượng hay mảng con; mô hình cây biểu diễn đúng quan hệ cha–con đó, nên có thể duyệt theo đường dẫn từ gốc xuống, như XPath với XML hay ký pháp dấu chấm với JSON, và truy vấn cha, con, anh em một cách tự nhiên. "Computers can easily visualize the data with a tree structure." sai vì lý do dùng cây là để mô hình hoá và truy vấn, không phải để máy tính vẽ hình. "It is not always the case that XML and JSON can be represented as trees." sai vì mọi tài liệu XML hợp lệ và mọi giá trị JSON đều có cấu trúc lồng nhau biểu diễn được thành cây. "They are only useful for XML data, as a tree-like structure is apparent with tags. While JSON does not contain a tree-like structure as it contains arrays." sai vì mảng JSON chỉ là một nút có các con được đánh thứ tự, nên JSON vẫn là cây như XML.