Câu hỏi: BDI302c - Phần 1: Nguồn gốc và đặc trưng của dữ liệu lớn

Đáp án đúng: "The abnormality or uncertainties of data.". Veracity (tính xác thực) là chữ V nói về chất lượng và độ tin cậy của dữ liệu: dữ liệu lớn gom từ nhiều nguồn nên thường có nhiễu, giá trị bất thường, thiếu sót, mâu thuẫn và độ bất định, cần làm sạch và đánh giá trước khi dùng để ra quyết định. "The connectedness of data." là valence (tính liên kết), mức độ các phần tử dữ liệu nối với nhau, ví dụ trong mạng xã hội. "The speed at which data is produced." là velocity (tốc độ), nói về dữ liệu được sinh ra và cần xử lý nhanh tới mức nào. "The size of the data." là volume (khối lượng), độ lớn của dữ liệu. Ba đặc trưng đó mô tả hình thái và quy mô, còn chỉ veracity nói về mức đáng tin của dữ liệu.

Đáp án đúng: "Integration -> Personalization -> Precision". Ví dụ tiêu biểu là y học chính xác (precision medicine): các dòng dữ liệu (data streams) từ hồ sơ bệnh án, xét nghiệm gen, thiết bị đeo, cảm biến môi trường trước hết được tích hợp (integration) lại; có bức tranh tích hợp của từng người thì mới cá nhân hoá (personalization) được; và cá nhân hoá dẫn tới chẩn đoán, điều trị chính xác (precision) cho đúng người đó. Chỗ dễ nhầm nhất là "Big Data -> Better Models -> Higher Precision", vốn hay bị ghi làm đáp án: nó là cách tóm tắt một quy trình khác, rằng nhiều dữ liệu giúp mô hình tốt hơn và dự đoán chính xác hơn, chứ không mô tả quá trình sử dụng các dòng dữ liệu bắt đầu bằng khâu tích hợp. "Theory -> Models -> Precise Advice" mô tả hướng đi từ lý thuyết xuống, không xuất phát từ dữ liệu. "Extrapolation -> Understanding -> Reproducing" sai vì ngoại suy (extrapolation) là suy rộng ra ngoài vùng dữ liệu có sẵn, không phải bước đầu khi dùng các dòng dữ liệu, và chuỗi này không dẫn tới tính chính xác.

Đáp án đúng: "Machine Data, Organizational Data, and People". Nguồn dữ liệu lớn thường được chia thành ba nhóm: dữ liệu do máy sinh ra như cảm biến, thiết bị IoT, nhật ký hệ thống, vệ tinh; dữ liệu của tổ chức như giao dịch, hồ sơ khách hàng, dữ liệu vận hành trong doanh nghiệp; và dữ liệu do con người tạo ra như bài đăng mạng xã hội, email, ảnh, video, đánh giá. "Machine Data, Map Data, and Social Media" sai vì dữ liệu bản đồ chỉ là một dạng dữ liệu cụ thể, còn mạng xã hội là một phần của nhóm dữ liệu con người. "Information Networks, Map Data, and People" sai vì mạng thông tin và dữ liệu bản đồ không phải hai nhóm nguồn gốc, đồng thời thiếu hẳn dữ liệu máy và dữ liệu tổ chức. "Sensor Data, Organizational Data, and Social Media" dùng hai mục con thay cho nhóm lớn: cảm biến chỉ là một loại dữ liệu máy, mạng xã hội chỉ là một loại dữ liệu con người.

Đáp án đúng: "Disease data from the Centers for Disease Control.". Dữ liệu lớn thường được chia theo nguồn sinh ra: máy móc, con người và tổ chức. Organizational data (dữ liệu tổ chức) là dữ liệu mà doanh nghiệp hay cơ quan ghi nhận trong hoạt động của mình như giao dịch, hồ sơ, thống kê; dữ liệu bệnh tật do Trung tâm Kiểm soát Dịch bệnh tập hợp từ báo cáo của cơ sở y tế là ví dụ điển hình. "Satellite Data" là dữ liệu do máy sinh ra, đến từ cảm biến và thiết bị chụp ảnh trên vệ tinh. "Social Media" là dữ liệu do con người sinh ra khi đăng bài, bình luận, chia sẻ. "Multimedia" là một dạng định dạng dữ liệu gồm ảnh, âm thanh, video, nói về hình thức của dữ liệu chứ không chỉ ra nguồn tổ chức nào tạo ra nó, và phần lớn nội dung đa phương tiện do người dùng tạo.

Đáp án đúng: "Velocity". Áp các chữ V vào dữ liệu đồ thị, Velocity (tốc độ) thể hiện ở chỗ đồ thị liên tục lớn lên: cạnh mới được thêm vào không ngừng, như lượt theo dõi hay tương tác trên mạng xã hội, nên kết quả phân tích có thể thay đổi ngay sau khi tính xong và khó biết lúc nào đã có được câu trả lời; cần kỹ thuật xử lý luồng và phân tích gia tăng. "Variety" là sự đa dạng về loại nút, loại cạnh và nguồn dữ liệu, gây khó cho việc tích hợp chứ không phải số cạnh tăng liên tục. "Volume" là kích thước tổng của đồ thị, lớn đến mức khó lưu và xử lý, nhưng là một trạng thái tĩnh chứ không nhấn mạnh sự tăng trưởng không ngừng. "Valence" là độ liên kết, tức mật độ kết nối giữa các phần tử, làm thuật toán khám phá phức tạp hơn nhưng không phải bản chất của việc cạnh tiếp tục được thêm vào.

Đáp án đúng: "Foundations stand the test of time.". Công cụ dữ liệu lớn thay đổi rất nhanh, như MapReduce dần nhường chỗ cho Spark, nền tảng và phiên bản mới xuất hiện liên tục, nhưng kiến thức nền như các chữ V của dữ liệu lớn, mô hình dữ liệu, xử lý phân tán, chịu lỗi, đánh đổi giữa nhất quán và sẵn sàng vẫn giữ giá trị lâu dài; nắm vững chúng giúp người học tiếp cận được bất kỳ công cụ mới nào. "Foundations allow for the understanding of practical concepts in Hadoop." không sai hẳn nhưng quá hẹp, vì giá trị của kiến thức nền không gói trong một công cụ cụ thể như Hadoop. "Foundations help you revisit calculus concepts required in the understanding of big data." sai vì nền tảng dữ liệu lớn nói về khái niệm hệ thống và dữ liệu, không phải ôn lại giải tích. "Foundations is all that is required to show a mastery of big data concepts." sai vì kiến thức nền là điều kiện cần chứ chưa đủ; thành thạo còn đòi hỏi thực hành với công cụ và dữ liệu thật.

Đáp án đúng: "Low Veracity". Veracity (độ xác thực) đo mức tin cậy của dữ liệu: dữ liệu có chính xác không, có nhiễu, thiên lệch hay bị làm giả không. Trong tình huống, khoảng 90% đánh giá là 5 sao nhưng một nửa trong số đó, tức khoảng 45% tổng số đánh giá, đến từ người không có bằng chứng mua hàng hoặc viết không nghiêm túc; dữ liệu như vậy phản ánh sai mức hài lòng thật nên có độ xác thực thấp. "High Veracity" ngược lại, chỉ đúng khi đánh giá đến từ người mua thật và đáng tin. "Low Volume" nói về khối lượng dữ liệu ít, nhưng tình huống không cho biết số đánh giá nhiều hay ít. "High Volume" có thể đúng với quy mô dữ liệu của Amazon nói chung, nhưng vấn đề tình huống nêu ra là chất lượng của đánh giá chứ không phải số lượng.

Đáp án đúng: "Combining streams of data and analyzing them for new insights.". Giá trị thực của dữ liệu lớn không nằm ở từng nguồn riêng lẻ mà sinh ra khi kết hợp nhiều dòng dữ liệu khác nhau, ví dụ vị trí, giao dịch và mạng xã hội, rồi phân tích chúng để thấy những quy luật mà không nguồn nào cho thấy một mình. Đây là chỗ dễ tranh cãi: "Having data-enabled decisions and actions from the insights of new data." được một số tài liệu ôn tập ghi là đáp án và hai ý rất gần nhau, nhưng nó mô tả mục đích cuối cùng là ra quyết định và hành động, còn câu hỏi hỏi điều gì tạo ra giá trị, tức chính việc kết hợp và phân tích các dòng dữ liệu để rút ra hiểu biết mà quyết định dựa vào. "Size of the data." sai vì khối lượng lớn tự nó chỉ là chi phí lưu trữ, không tạo giá trị nếu không được phân tích. "Using the three major data sources: Machines, People, and Organizations." chỉ liệt kê ba nguồn dữ liệu; có nguồn mà không kết hợp và phân tích thì vẫn chưa sinh giá trị.

Đáp án đúng: "Complex Data Exploration Algorithms". Valence (độ liên kết) đo mức độ các phần tử dữ liệu nối với nhau, tức tỉ lệ kết nối thực có trên số kết nối có thể có; khi valence cao, đồ thị dày đặc, số đường đi và quan hệ gián tiếp bùng nổ, nên thuật toán khám phá như tìm cộng đồng, tìm đường hay phát hiện mẫu trở nên phức tạp và tốn kém. "Difficult to Integrate" là thách thức điển hình của Variety, khi dữ liệu đến từ nhiều nguồn với định dạng và lược đồ khác nhau. "Reliability of Data" là vấn đề của Veracity, liên quan tới độ chính xác và độ tin cậy của dữ liệu chứ không phải mật độ kết nối. "Difficult reliability" chỉ diễn đạt lại cùng ý về độ tin cậy, cũng thuộc Veracity, không xuất phát từ việc dữ liệu có valence cao.