Câu hỏi: BDI302c - Phần 1: Nguồn gốc và đặc trưng của dữ liệu lớn

Đáp án đúng: "Being able to use personalized data from every single customer for personalized marketing needs". Personalized marketing (marketing cá nhân hoá) nhờ dữ liệu lớn nghĩa là thu thập, lưu trữ và phân tích dữ liệu riêng của từng khách hàng như lịch sử mua, hành vi duyệt web, vị trí, rồi dựa vào đó đưa ra thông điệp riêng cho từng người; làm được điều này với hàng triệu khách hàng chính là việc của hạ tầng dữ liệu lớn, nên phương án này nêu đúng cả hai vế. Chỗ dễ tranh cãi là "Marketing to each customer on an individual level and suiting to their needs": một số tài liệu ôn tập ghi nó là đáp án và nó không sai về marketing cá nhân hoá, nhưng nó chỉ mô tả marketing cá nhân hoá nói chung mà không nêu vai trò của dữ liệu, trong khi câu hỏi nhắm vào chữ powered by big data. "Personalized marketing addressing individual customer needs" cũng chỉ lặp lại định nghĩa chung, không nói tới dữ liệu. Còn mảnh "for groups of consumers and utilize it" mô tả marketing theo phân khúc (segmentation), nhắm vào nhóm người tiêu dùng chứ không phải từng cá nhân.

Đáp án đúng: "Disease data from Center for Disease Control.". Dữ liệu lớn thường được chia theo ba nguồn sinh ra nó: máy móc (machine-generated, ví dụ cảm biến), con người (people-generated, ví dụ bài đăng, ảnh) và tổ chức (organizational data, dữ liệu do doanh nghiệp, cơ quan ghi nhận trong hoạt động của mình như giao dịch, hồ sơ, thống kê). Dữ liệu bệnh tật do Trung tâm Kiểm soát Dịch bệnh tập hợp từ báo cáo của bệnh viện và cơ sở y tế là dữ liệu do một tổ chức thu thập và quản lý, nên là ví dụ đúng. "Satellite Data" là dữ liệu do máy sinh ra, cụ thể là cảm biến và thiết bị chụp ảnh trên vệ tinh gửi về liên tục. "Social Media" là dữ liệu do con người sinh ra khi đăng bài, bình luận, chia sẻ hình ảnh, thường phi cấu trúc và không do một tổ chức ghi nhận theo quy trình nghiệp vụ.

Đáp án đúng: "Data accuracy/trustworthiness". Veracity (tính xác thực) là một trong các chữ V của dữ liệu lớn, chỉ mức độ chính xác, đáng tin cậy và chất lượng của dữ liệu: dữ liệu có bị nhiễu, thiếu, mâu thuẫn hay đến từ nguồn không tin được hay không. Dữ liệu lớn gom từ nhiều nguồn khác nhau nên veracity thường thấp và phải làm sạch, đối chiếu trước khi phân tích. "Data format" thuộc về variety (tính đa dạng), tức dữ liệu có nhiều dạng như bảng, văn bản, ảnh, đồ thị. "Data size" là volume (khối lượng), độ lớn tính bằng terabyte hay petabyte. "Data transfer rate" gần với velocity (tốc độ), tức tốc độ dữ liệu được sinh ra và phải xử lý. Ba chữ V đó mô tả quy mô và hình thức, không nói gì về việc dữ liệu đúng hay sai.

Đáp án đúng: "Companies can't afford to own, maintain, and spend the energy to support large data storage unless the cost is sufficiently low.". Lưu trữ dữ liệu lớn đòi hỏi mua ổ đĩa, xây trung tâm dữ liệu, bảo trì và trả tiền điện cho hàng nghìn máy; chỉ khi giá lưu trữ trên mỗi đơn vị dung lượng giảm đủ sâu thì doanh nghiệp mới có thể giữ toàn bộ dữ liệu thay vì phải chọn lọc rồi xoá bớt, nên tỉ lệ dung lượng trên giá là điều kiện kinh tế làm dữ liệu lớn khả thi. Đây là chỗ dễ tranh cãi: "Lower prices mean larger storage becomes easier to access for everyone" cũng nói giá lưu trữ giảm làm dữ liệu lớn khả thi và một số tài liệu ôn tập ghi nó là đáp án, nhưng nó nhấn vào khả năng tiếp cận của mọi người và dịch vụ phía khách hàng, còn lý do cốt lõi là chi phí sở hữu và vận hành của tổ chức. "Larger storage means easier accessibility to big data for every user" lạc sang việc người dùng tải hàng loạt, không liên quan tới chi phí. "It isn't; it was just an arbitrary example of big data usage." sai vì giá lưu trữ giảm là một động lực chính khiến dữ liệu lớn bùng nổ.

Đáp án đúng: "Facebook reveals posts that cater towards similar interests.". Tiếp thị cá nhân hoá dựa trên dữ liệu lớn nghĩa là hệ thống tự thu thập lượng lớn dấu vết hành vi của từng người như lượt thích, bình luận, thời gian xem, mạng bạn bè, rồi dùng mô hình gợi ý để chọn nội dung hợp với sở thích riêng của người đó; bảng tin Facebook ưu tiên bài viết tương tự những gì người dùng đã tương tác là ví dụ điển hình. "News outlets gather information from the internet to report it to the public." là hoạt động báo chí đưa cùng một tin cho mọi người, không phải tiếp thị và không nhắm tới từng cá nhân. "A survey that asks your age and markets a specific brand to you." chỉ dựa vào một thuộc tính nhân khẩu do người dùng tự khai, tức là phân khúc theo nhóm tuổi kiểu truyền thống chứ không khai thác dữ liệu hành vi quy mô lớn. "Survey collecting age for brand-specific marketing." diễn đạt lại đúng ý trên, cũng là khảo sát nhỏ theo nhóm tuổi nên cũng không phải cá nhân hoá bằng dữ liệu lớn.

Đáp án đúng: "Marketing to each customer on an individual level and suiting to their needs". Dữ liệu lớn cho phép gom lịch sử mua, lượt xem, vị trí, tương tác mạng xã hội của từng khách hàng và dùng mô hình để đưa ra sản phẩm, giá hay thông điệp riêng cho đúng người đó, tức là tiếp thị ở mức một khách hàng chứ không theo phân khúc chung. "Being able to use the data from each customer for marketing needs" chỉ nói tới việc dùng dữ liệu cho tiếp thị nói chung mà thiếu ý cốt lõi là điều chỉnh theo nhu cầu riêng từng người; dùng dữ liệu để thống kê tổng thể cũng thỏa câu này mà không hề cá nhân hoá. "Being able to obtain and use customer information for specific groups and utilize them for marketing needs" mô tả tiếp thị theo phân khúc (segmentation), nhắm tới nhóm khách hàng có đặc điểm chung, đúng là có ích nhưng là cấp độ thô hơn cá nhân hoá mà câu hỏi đang hỏi.

Đáp án đúng: "Different data types". Variety (tính đa dạng) trong mô hình các chữ V của dữ liệu lớn chỉ sự khác nhau về kiểu và định dạng dữ liệu: bảng có cấu trúc, JSON hay XML bán cấu trúc, văn bản, ảnh, video, âm thanh, dữ liệu cảm biến phi cấu trúc; chính sự đa dạng này buộc hệ thống phải có cách lưu trữ và tích hợp linh hoạt hơn cơ sở dữ liệu quan hệ. "Size of data" là Volume (khối lượng), nói về dung lượng khổng lồ tính bằng terabyte, petabyte. "Speed of data" là Velocity (tốc độ), nói về dữ liệu sinh ra và cần xử lý nhanh, gần thời gian thực. "Accuracy of data" thuộc về Veracity (độ xác thực), nói về mức tin cậy, độ nhiễu và sai lệch của dữ liệu.

Đáp án đúng: "Size of data". Trong mô hình các chữ V của dữ liệu lớn, Volume (khối lượng) chỉ quy mô dữ liệu khổng lồ, tính bằng terabyte, petabyte trở lên, vượt khả năng lưu và xử lý của một máy đơn lẻ, buộc phải dùng lưu trữ phân tán như HDFS và xử lý song song. "Speed of data" là Velocity (tốc độ), nói về dữ liệu sinh ra và cần xử lý liên tục, nhanh như dòng sự kiện cảm biến hay giao dịch, chứ không nói tới độ lớn. "Type of data" là Variety (đa dạng), chỉ sự khác biệt về định dạng và cấu trúc như bảng quan hệ, văn bản, ảnh, đồ thị, JSON. "Accuracy of data" là Veracity (độ tin cậy), nói về chất lượng, độ chính xác và mức không chắc chắn của dữ liệu, vốn có thể kém dù dữ liệu nhỏ hay lớn.

Đáp án đúng: "Volume". Volume (khối lượng) là chữ V nói về kích thước dữ liệu; khi số bản ghi hay số đỉnh, số cạnh tăng lên hàng tỷ, thuật toán có độ phức tạp tăng theo n log n hay n bình phương sẽ cần thời gian và bộ nhớ vượt khả năng một máy, tới mức phân tích không chạy xong trong thời gian hợp lý, nên phải chia nhỏ và xử lý song song. Đây là chỗ có tranh cãi thật với "Valence": Valence (độ kết nối) đo mức các phần tử dữ liệu liên kết với nhau, và khi mạng lưới dày lên thì thuật toán khám phá đồ thị cũng phức tạp hơn, nên một số tài liệu nối "độ phức tạp thuật toán" với Valence; cách hiểu được nhiều bộ câu hỏi ghi nhận cho đúng câu này là Volume, vì câu hỏi nhấn vào việc phân tích không chạy xong do quy mô, còn Valence là đáp án của câu hỏi về mật độ kết nối tăng. "Velocity" (tốc độ) gây áp lực phải xử lý kịp dữ liệu đang đến, là vấn đề độ trễ chứ không phải độ phức tạp thuật toán. "Variety" (đa dạng) làm khó khâu tích hợp và mô hình hoá các định dạng khác nhau.

Đáp án đúng: "Large and complex". Dữ liệu lớn (big data) chỉ những tập dữ liệu lớn và phức tạp tới mức công cụ truyền thống khó lưu trữ, xử lý và phân tích, thường được mô tả bằng các chữ V: volume (khối lượng), velocity (tốc độ sinh dữ liệu), variety (đa dạng định dạng), veracity (độ tin cậy) và value (giá trị). "Small and structured" ngược hẳn với định nghĩa: dữ liệu nhỏ và có cấu trúc gọn gàng là thứ một cơ sở dữ liệu quan hệ trên một máy xử lý tốt. "Only in spreadsheets" sai vì bảng tính chỉ chứa được lượng dữ liệu nhỏ, trong khi dữ liệu lớn đến từ cảm biến, log, mạng xã hội, giao dịch. "Only audio/video files" sai vì âm thanh, video chỉ là một phần của dữ liệu phi cấu trúc; dữ liệu lớn gồm cả văn bản, bảng quan hệ, JSON, đồ thị, chuỗi thời gian.

Đáp án đúng gồm ba ý: "The velocity of the data is very high.", "Very unstructured data." và "Skilled people to analyze the data are hard to come by.". Dữ liệu do con người tạo ra như bài đăng mạng xã hội, email, bình luận, ảnh, video sinh ra với tốc độ rất cao và liên tục; phần lớn là văn bản tự do và đa phương tiện không theo lược đồ cố định nên phải qua nhiều bước trích xuất, chuẩn hoá mới phân tích được; thêm vào đó, hiểu ngôn ngữ, ngữ cảnh, cảm xúc đòi hỏi người có kỹ năng phân tích dữ liệu và học máy, vốn khan hiếm. "They cannot be modeled and stored." sai vì dữ liệu này vẫn lưu và mô hình hoá được, chẳng hạn bằng cơ sở dữ liệu NoSQL, kho tài liệu, HDFS hay mô hình đồ thị cho quan hệ xã hội; cái khó nằm ở chỗ xử lý tốn công, chứ không phải không thể lưu trữ.

Đáp án đúng: "Companies can't afford to own, maintain, and spend the energy to support large data storage unless the cost is sufficiently low.". Dữ liệu lớn chỉ trở thành hiện thực khi giá mỗi gigabyte lưu trữ giảm mạnh; nếu chi phí mua thiết bị, bảo trì và điện năng còn cao thì doanh nghiệp không đủ sức giữ lại khối dữ liệu khổng lồ để phân tích, nên tỉ lệ dung lượng trên giá là điều kiện kinh tế nền tảng của dữ liệu lớn cùng với điện toán đám mây và phần cứng phổ thông. Phương án "allows users to download in bulk" sai vì vấn đề không phải tải hàng loạt về máy người dùng, dữ liệu lớn thường được xử lý tại chỗ trên cụm. "It isn't, it was just an arbitrary example on big data usage." phủ nhận vai trò của chi phí lưu trữ, trong khi đây là một động lực cốt lõi. Phương án "client-facing services require very large data storage" đảo quan hệ nhân quả: lưu trữ rẻ làm dữ liệu lớn khả thi, chứ không phải dịch vụ hướng khách hàng nào cũng buộc phải có kho rất lớn.

Đáp án đúng gồm bốn ý: "Volume", "Velocity", "Variety" và "Veracity". Các đặc trưng cốt lõi của dữ liệu lớn được mô tả bằng các chữ V: Volume là khối lượng dữ liệu khổng lồ, Velocity là tốc độ sinh ra và cần xử lý liên tục, Variety là sự đa dạng về định dạng và cấu trúc, Veracity là độ tin cậy, chất lượng và mức không chắc chắn của dữ liệu; chữ V thứ năm thường được kể là Valence (độ liên kết) hoặc Value (giá trị), không có trong danh sách phương án ở đây. "Validity" (tính hợp lệ) là một tiêu chí kiểm tra chất lượng dữ liệu, thường được xem là khía cạnh nhỏ nằm trong Veracity chứ không phải một đặc trưng riêng của mô hình các chữ V. "Visibility" (khả năng nhìn thấy) liên quan tới trực quan hoá hay quyền truy cập dữ liệu, cũng không thuộc các đặc trưng cốt lõi được dùng để định nghĩa dữ liệu lớn.

Đáp án đúng: "Mobile advertising benefits from data integration with location, which requires big data.". Giá trị của quảng cáo trên di động nằm ở chỗ điện thoại cho biết người dùng đang ở đâu, vào lúc nào; tích hợp vị trí theo thời gian thực với lịch sử mua sắm, sở thích và dữ liệu cửa hàng xung quanh cho phép đưa quảng cáo đúng người, đúng chỗ. Việc ghép các dòng dữ liệu vị trí liên tục của hàng triệu thiết bị với nhiều nguồn khác đòi hỏi khối lượng và tốc độ xử lý của dữ liệu lớn. Mảnh "in and of itself is always associated with big data" sai vì quảng cáo di động tự nó không mặc nhiên là dữ liệu lớn, mà nhờ việc tích hợp dữ liệu. Mảnh "Since almost everyone owns a cell/mobile phone" chỉ nói thị trường rộng, mà quy mô thị trường không phải lý do kỹ thuật gắn với dữ liệu lớn. Mảnh "massive cellular/mobile texting to a wide audience" mô tả nhắn tin hàng loạt, một kênh gửi thông điệp, không giải thích vì sao cần phân tích dữ liệu lớn.

Đáp án đúng: "Social Media". Mạng xã hội là ứng dụng dữ liệu lớn điển hình hiện nay: hàng tỷ người dùng liên tục sinh bài viết, ảnh, video, lượt thích, quan hệ kết bạn, đủ các đặc trưng khối lượng, tốc độ và đa dạng; các nền tảng phân tích dữ liệu đó để gợi ý nội dung, quảng cáo nhắm mục tiêu, phát hiện xu hướng và phân tích cảm xúc. "Newspapers" sai vì báo in truyền thống là kênh xuất bản một chiều với lượng nội dung nhỏ, không phải nơi sinh và khai thác dữ liệu quy mô lớn. "Individual, Unconnected Hospital Databases" sai vì giá trị của dữ liệu lớn trong y tế đến từ việc tích hợp nhiều nguồn; các cơ sở dữ liệu bệnh viện rời rạc, không kết nối chính là hiện trạng mà dữ liệu lớn muốn vượt qua. "Wi-Fi Networks" là hạ tầng truyền dẫn giúp dữ liệu di chuyển, bản thân nó không phải ứng dụng phân tích dữ liệu lớn.

Đáp án đúng: "Big Data -> Better Models -> Higher Precision". Cách làm việc với dữ liệu lớn đi từ dữ liệu lên: càng nhiều dữ liệu thực tế thì mô hình học từ dữ liệu càng phủ được nhiều tình huống, dự đoán càng chính xác, nên chuỗi là dữ liệu lớn, mô hình tốt hơn, độ chính xác cao hơn. "Theory -> Models -> Precise Advice" là cách tiếp cận truyền thống từ lý thuyết xuống, dựng mô hình theo giả thuyết rồi suy ra lời khuyên, không lấy dữ liệu làm điểm xuất phát. "Extrapolation -> Understanding -> Reproducing" mô tả quá trình ngoại suy rồi hiểu và tái tạo hiện tượng, không phản ánh việc dùng khối dữ liệu lớn để cải thiện mô hình. "Theory -> Models -> Precise Advice-> Understanding" chỉ thêm bước hiểu biết vào cuối chuỗi lý thuyết dẫn đường, vẫn là lối tư duy từ lý thuyết chứ không phải từ dữ liệu.

Đáp án đúng: "Data privacy concerns". Đồng hồ điện thông minh (smart meter) ghi mức tiêu thụ theo từng khoảng ngắn, vài phút tới một giờ, rồi gửi về công ty điện; chuỗi số liệu chi tiết đó cho phép suy ra thói quen sinh hoạt như giờ ngủ, giờ vắng nhà, thiết bị đang dùng, nên quyền riêng tư dữ liệu trở thành thách thức chính khi ngành năng lượng thu thập và phân tích dữ liệu lớn từ hàng triệu hộ. "Decreased energy demand" sai vì nhu cầu năng lượng giảm không phải hệ quả tất yếu của việc lắp đồng hồ thông minh, và nếu có tiết kiệm thì đó là lợi ích chứ không phải thách thức. "Lack of consumer awareness" có thể gặp trong thực tế nhưng không gắn với bản chất dữ liệu mà công nghệ này sinh ra. "High cost of deployment" là chi phí đầu tư có thể lên kế hoạch được, còn thách thức nổi bật xuất phát từ chính dữ liệu là quyền riêng tư.

Đáp án đúng: "Accuracy". Ứng dụng dữ liệu lớn chỉ đáng tin khi kết quả phản ánh đúng thực tế, và điều đó phụ thuộc trước hết vào độ chính xác (accuracy) của dữ liệu đầu vào: giá trị sai, trùng lặp, thiếu hay nhiễu sẽ dẫn tới phân tích sai theo nguyên tắc rác vào thì rác ra; đây là phần Veracity (độ xác thực) trong các chữ V. "Volume" là khối lượng dữ liệu; nhiều dữ liệu hơn không làm dữ liệu đáng tin hơn nếu bản thân nó sai. "Velocity" là tốc độ sinh và xử lý dữ liệu, liên quan tới tính kịp thời chứ không phải tính đúng. "Retention" là chính sách lưu giữ dữ liệu trong bao lâu, phục vụ tuân thủ pháp lý và kiểm soát chi phí lưu trữ, không quyết định dữ liệu có chính xác hay không.

Đáp án đúng: "Big data enables advanced analytics and insights for decision-making.". Trong hệ thống quy mô lớn, giá trị của dữ liệu lớn nằm ở chỗ nhờ lưu trữ phân tán và xử lý song song, tổ chức có thể truy xuất và phân tích khối dữ liệu khổng lồ, đa dạng để tìm mẫu, dự báo và ra quyết định dựa trên bằng chứng, tức chữ V value (giá trị). "Big data reduces the complexity of data systems significantly." sai vì dữ liệu lớn làm hệ thống phức tạp hơn: phải phân tán, nhân bản, chịu lỗi, tích hợp nhiều nguồn. "Big data eliminates the need for data processing in large scale systems." sai vì ngược lại, dữ liệu càng lớn càng cần xử lý như làm sạch, tích hợp, tổng hợp trước khi dùng được. "Big data is primarily useful for storing large volumes of data without analysis." sai vì lưu trữ chỉ là phương tiện; dữ liệu nằm yên không được phân tích thì không mang lại giá trị nào.

Đáp án đúng: "Machine Data, Organizational Data, and People". Các nguồn dữ liệu lớn thường được chia ba nhóm: dữ liệu máy (machine data) do cảm biến, thiết bị, nhật ký hệ thống sinh ra tự động với tốc độ cao; dữ liệu tổ chức (organizational data) như giao dịch, hồ sơ khách hàng, tồn kho của doanh nghiệp, thường có cấu trúc và nằm trong các cơ sở dữ liệu; và dữ liệu do con người (people) tạo ra như mạng xã hội, email, ảnh, phần lớn phi cấu trúc. "Information Networks, Map Data, and People" dùng hai mục chỉ là ví dụ dữ liệu cụ thể chứ không phải nhóm nguồn. "Machine Data, Map Data, and Social Media" thiếu dữ liệu tổ chức, còn bản đồ và mạng xã hội chỉ là ví dụ thuộc nhóm máy và nhóm con người. "Sensor Data, Organizational Data, and Social Media" dùng ví dụ hẹp thay cho tên nhóm: cảm biến chỉ là một phần của dữ liệu máy, mạng xã hội chỉ là một phần của dữ liệu con người.