Câu hỏi: BDI302c Dữ liệu lớn – Bộ ôn tập thi lại số 1

Đáp án đúng: "Velocity". Áp các chữ V vào dữ liệu đồ thị, Velocity (tốc độ) thể hiện ở chỗ đồ thị liên tục lớn lên: cạnh mới được thêm vào không ngừng, như lượt theo dõi hay tương tác trên mạng xã hội, nên kết quả phân tích có thể thay đổi ngay sau khi tính xong và khó biết lúc nào đã có được câu trả lời; cần kỹ thuật xử lý luồng và phân tích gia tăng. "Variety" là sự đa dạng về loại nút, loại cạnh và nguồn dữ liệu, gây khó cho việc tích hợp chứ không phải số cạnh tăng liên tục. "Volume" là kích thước tổng của đồ thị, lớn đến mức khó lưu và xử lý, nhưng là một trạng thái tĩnh chứ không nhấn mạnh sự tăng trưởng không ngừng. "Valence" là độ liên kết, tức mật độ kết nối giữa các phần tử, làm thuật toán khám phá phức tạp hơn nhưng không phải bản chất của việc cạnh tiếp tục được thêm vào.

Đáp án đúng: "Multiple edges between Maria and Julio". Khi hai người có nhiều loại quan hệ cùng lúc, mô hình phù hợp là đa đồ thị (multigraph): giữ mỗi người đúng một đỉnh và vẽ nhiều cạnh song song giữa hai đỉnh, mỗi cạnh mang nhãn hoặc thuộc tính cho biết loại quan hệ như bạn đánh tennis, đồng nghiệp, người liên hệ khẩn cấp. Cách này giữ toàn bộ thông tin trong một đồ thị và vẫn truy vấn theo loại cạnh được. "Separate graphs for each kind of relationship" chia dữ liệu ra nhiều đồ thị, làm mất cái nhìn tổng thể và khó phân tích các quan hệ đan xen. "Multiple nodes for each of Maria and Julio, to capture the various relationships" sai nguyên tắc vì một thực thể phải ứng với một đỉnh; nhân bản đỉnh làm sai các phép đo như bậc của đỉnh hay số láng giềng.

Đáp án đúng: "Volume". Volume (khối lượng) là chữ V nói về kích thước dữ liệu; khi số bản ghi hay số đỉnh, số cạnh tăng lên hàng tỷ, thuật toán có độ phức tạp tăng theo n log n hay n bình phương sẽ cần thời gian và bộ nhớ vượt khả năng một máy, tới mức phân tích không chạy xong trong thời gian hợp lý, nên phải chia nhỏ và xử lý song song. Đây là chỗ có tranh cãi thật với "Valence": Valence (độ kết nối) đo mức các phần tử dữ liệu liên kết với nhau, và khi mạng lưới dày lên thì thuật toán khám phá đồ thị cũng phức tạp hơn, nên một số tài liệu nối "độ phức tạp thuật toán" với Valence; cách hiểu được nhiều bộ câu hỏi ghi nhận cho đúng câu này là Volume, vì câu hỏi nhấn vào việc phân tích không chạy xong do quy mô, còn Valence là đáp án của câu hỏi về mật độ kết nối tăng. "Velocity" (tốc độ) gây áp lực phải xử lý kịp dữ liệu đang đến, là vấn đề độ trễ chứ không phải độ phức tạp thuật toán. "Variety" (đa dạng) làm khó khâu tích hợp và mô hình hoá các định dạng khác nhau.

Đáp án đúng: "a node which can reach all other nodes quickly". Trong phân tích mạng, người có ảnh hưởng (influencer) được hiểu là nút có vị trí cho phép thông tin từ nó lan tới mọi nút khác qua ít bước nhất; điều này gắn với độ trung tâm gần (closeness centrality), đo bằng nghịch đảo tổng khoảng cách ngắn nhất từ nút đó tới mọi nút còn lại, khoảng cách càng nhỏ thì ảnh hưởng lan càng nhanh. "the biggest gossip in the network" là cách nói dân dã về người nói nhiều nhất, nhưng gửi nhiều thông điệp không bảo đảm thông điệp tới được cả mạng nhanh, nên không phải định nghĩa dựa trên cấu trúc đồ thị. "a node which has heavy weight edges to at least 1/2 of the nodes in the network" đặt ra ngưỡng một nửa số nút và trọng số cạnh lớn một cách tùy tiện; một nút có thể nối mạnh với nhiều nút lân cận mà vẫn ở xa phần còn lại của mạng, nên tiêu chí này không phản ánh khả năng lan tỏa.

Đáp án đúng: "Split". Theo dõi sự tiến hoá cộng đồng (community tracking) trên đồ thị theo thời gian thường phân biệt sáu sự kiện: birth, death, grow, contract, merge và split. Khi một công ty tách ra một start-up, một nhóm nhân sự vốn thuộc cộng đồng cũ tách thành cộng đồng riêng, nên một cộng đồng trở thành hai, đó là split. "Birth" là một cộng đồng mới xuất hiện mà không bắt nguồn từ cộng đồng có sẵn; start-up cũng mới nhưng được tách ra từ công ty mẹ. "Death" là cộng đồng tan biến hẳn, trong khi công ty mẹ vẫn tồn tại. "Grow" là cộng đồng nhận thêm thành viên, ngược với việc mất người cho start-up. "Merge" là hai cộng đồng hợp làm một, như hai công ty sáp nhập. "Contract" là cộng đồng thu hẹp do mất bớt thành viên rời đi lẻ tẻ, không hình thành một cộng đồng mới như ở đây.

Đáp án đúng: "Refers_to". Web ngữ nghĩa (semantic web) mô tả tri thức bằng bộ ba chủ thể–vị từ–đối tượng như trong RDF: đỉnh là khái niệm, tài nguyên, thực thể, còn cạnh mang quan hệ ngữ nghĩa giữa chúng, chẳng hạn một tài nguyên refers_to (tham chiếu tới) một khái niệm hay tài nguyên khác, hoặc các quan hệ như is_a, part_of. "Likes" là cạnh điển hình của đồ thị mạng xã hội, ghi việc người dùng thích một bài viết, không phải quan hệ ngữ nghĩa giữa các khái niệm. "Mentions" cũng thuộc đồ thị mạng xã hội, như một bài đăng nhắc tới một tài khoản. "Shares" ghi hành động chia sẻ nội dung của người dùng, phục vụ phân tích lan truyền trên mạng xã hội chứ không mô tả nghĩa của tài nguyên.

Đáp án đúng: "To impose properties on a BDMS in order to guarantee certain results.". BASE gồm Basically Available (cơ bản luôn sẵn sàng), Soft state (trạng thái mềm, có thể thay đổi kể cả khi không có thao tác ghi) và Eventual consistency (nhất quán sau cùng); đó là bộ tính chất mà một hệ quản lý dữ liệu lớn (BDMS) cam kết với người dùng, tức hệ bảo đảm được những kết quả nào khi chạy trên cụm phân tán. Chỗ hay gây tranh cãi là "To overcome the CAP theorem.": BASE đúng là ra đời vì định lý CAP, vốn nói hệ phân tán khi bị phân mảnh mạng không thể vừa nhất quán vừa sẵn sàng, nhưng CAP là giới hạn không vượt qua được; BASE chỉ là cách chấp nhận giới hạn đó, chọn sẵn sàng và nới lỏng nhất quán, nên nói BASE vượt qua CAP là sai về bản chất. "Enables stricter enforcement of ACID type design." sai vì BASE nới lỏng chứ không siết chặt các bảo đảm kiểu ACID. "The same as ACID." sai vì ACID đòi nhất quán chặt cho mỗi giao dịch, còn BASE chấp nhận dữ liệu tạm lệch giữa các bản sao rồi hội tụ dần.

Đáp án đúng: "The language specifies what data to obtain.". Ngôn ngữ truy vấn khai báo (declarative) như SQL hay Cypher chỉ yêu cầu người dùng mô tả kết quả muốn có, tức là lấy dữ liệu gì và thỏa điều kiện nào; còn cách thực hiện như chọn chỉ mục, thứ tự join, chiến lược duyệt là việc của bộ tối ưu truy vấn. Phương án "specifies both the process of how to obtain the data and specifies what data" sai vì một khi phải chỉ rõ cả quy trình thì ngôn ngữ không còn thuần khai báo. "The language specifies the process of how to obtain the data." mô tả ngôn ngữ thủ tục (procedural) như viết vòng lặp duyệt bản ghi trong Java hay chuỗi map, reduce viết tay, ngược với khai báo. Phương án "A language-specific declaration of data types to define the method of data retrieval." nhầm chữ khai báo theo nghĩa khai báo kiểu dữ liệu trong lập trình, không liên quan tới tính khai báo của truy vấn.

Đáp án đúng: "Redis". Redis là kho khoá giá trị (key-value store) chạy trong bộ nhớ: mỗi khoá là một chuỗi duy nhất, giá trị có thể là chuỗi, danh sách, tập hợp, hash hay sorted set, truy xuất trực tiếp theo khoá nên rất nhanh, thường dùng làm bộ đệm, lưu phiên đăng nhập hoặc hàng đợi. "MongoDB" là cơ sở dữ liệu hướng tài liệu, lưu tài liệu dạng BSON có cấu trúc lồng nhau và truy vấn được theo bất kỳ trường nào, không chỉ theo khoá. "MySQL" là hệ quản trị cơ sở dữ liệu quan hệ, tổ chức dữ liệu thành bảng có lược đồ cố định và truy vấn bằng SQL. "Hive" là kho dữ liệu trên Hadoop, đặt lược đồ bảng lên tệp trong HDFS và truy vấn bằng HiveQL.

Đáp án đúng: "Categories". Classification (phân lớp) là bài toán học có giám sát mà biến mục tiêu là nhãn rời rạc, ví dụ thư rác hay không, loại hoa nào, khách hàng có rời bỏ hay không; mô hình học từ dữ liệu có nhãn để gán một lớp cho mẫu mới. "Numeric values" là đầu ra của regression (hồi quy), bài toán dự đoán giá trị liên tục như giá nhà hay nhiệt độ. "Similarity scores" thuộc về các bài toán đo khoảng cách hoặc độ tương đồng, như phân cụm hay hệ gợi ý, không phải đầu ra của mô hình phân lớp. "Probabilities only" sai vì chữ only: nhiều bộ phân lớp như hồi quy logistic quả có tính xác suất thuộc từng lớp, nhưng xác suất chỉ là bước trung gian, sau khi so với ngưỡng mô hình vẫn đưa ra nhãn lớp.

Đáp án đúng: "MySQL". MySQL là hệ quản trị cơ sở dữ liệu quan hệ (RDBMS): dữ liệu tổ chức thành bảng có lược đồ cố định, truy vấn bằng SQL, giao dịch tuân theo ACID, và thường mở rộng theo chiều dọc bằng máy mạnh hơn. Câu hỏi dạng NOT nên những hệ NoSQL thật không được chọn: "MongoDB" là cơ sở dữ liệu hướng tài liệu (document store), lưu bản ghi dạng BSON giống JSON với lược đồ linh hoạt; "HBase" là kho dữ liệu dạng cột rộng (wide-column) chạy trên HDFS, mô phỏng Bigtable của Google, cho đọc ghi ngẫu nhiên theo khoá hàng; "Cassandra" cũng là cơ sở dữ liệu cột rộng, phân tán ngang hàng không có nút chủ, ưu tiên tính sẵn sàng và nhất quán sau cùng (eventual consistency).

Đáp án đúng: "Data science requires a variety of expertise in different fields.". Một dự án khoa học dữ liệu cần nhiều năng lực cùng lúc: hiểu biết nghiệp vụ để đặt đúng câu hỏi, thống kê và học máy để xây mô hình, kỹ thuật dữ liệu và lập trình để thu thập, xử lý trên hạ tầng dữ liệu lớn, cùng kỹ năng trình bày để truyền đạt kết quả; hiếm có một người giỏi đủ mọi mảng nên cần làm việc nhóm liên ngành. "Exhibition of curiosity is required." là phẩm chất cá nhân mà nhà khoa học dữ liệu nên có, một người đơn lẻ cũng tò mò được nên không giải thích nhu cầu làm theo nhóm. "Analytic solutions are required." chỉ nói dự án cần lời giải phân tích, không cho thấy vì sao phải nhiều người. "Engineering solutions are preferred." sai vì dự án không ưu tiên riêng giải pháp kỹ thuật; kỹ thuật chỉ là một trong nhiều mảng chuyên môn cần phối hợp.

Đáp án đúng: "Understand Nature of Data and Preliminary Analysis.". Bước chuẩn bị dữ liệu trong quy trình khoa học dữ liệu có hai phần: khám phá dữ liệu, tức là tìm hiểu bản chất của dữ liệu và phân tích sơ bộ bằng thống kê mô tả, biểu đồ, tìm tương quan, xu hướng và ngoại lệ; rồi tiền xử lý như làm sạch, xử lý thiếu, biến đổi. "Identify Data Sets and Query Data" thuộc bước thu thập (Acquire), là xác định nguồn và truy vấn lấy dữ liệu về, diễn ra trước khi chuẩn bị. "Retrieve Data" cũng là hoạt động của bước thu thập, chỉ kéo dữ liệu về chứ chưa tìm hiểu hay xử lý nó. "Build Models" thuộc bước phân tích (Analyze), là chọn kỹ thuật và dựng mô hình trên dữ liệu đã được chuẩn bị xong, nên đến sau bước chuẩn bị.

Đáp án đúng: "All of the above". Apache Spark được viết bằng Scala và chạy trên máy ảo Java, nên cung cấp API chính thức cho Scala và Java; ngoài ra có PySpark cho Python và SparkR cho R, cùng Spark SQL cho truy vấn kiểu SQL. Nhờ hỗ trợ nhiều ngôn ngữ, nhà khoa học dữ liệu quen Python vẫn khai thác được sức mạnh xử lý phân tán. "Java" đúng nhưng chưa đủ, vì Spark không chỉ hỗ trợ Java. "Python" cũng được hỗ trợ qua PySpark, nhưng chọn riêng nó bỏ sót các ngôn ngữ khác. "Scala" là ngôn ngữ gốc của Spark, song chọn mỗi Scala vẫn thiếu Java và Python. Vì cả ba ngôn ngữ đều được hỗ trợ nên chỉ đáp án gộp mới đầy đủ.

Đáp án đúng: "It hides poor minority class performance". Với dữ liệu mất cân bằng lớp, accuracy (độ chính xác tổng) bị lớp đa số chi phối: nếu 95 trong 100 mẫu là âm tính, một mô hình đoán mọi mẫu đều âm tính vẫn đạt accuracy 95% dù không nhận ra được mẫu dương tính nào, recall của lớp thiểu số bằng 0. Vì thế cần xem thêm precision, recall, F1 hay ma trận nhầm lẫn. "It increases bias" sai vì accuracy chỉ là thước đo, nó không làm thay đổi mô hình hay độ chệch của mô hình. "It depends on labels" đúng là accuracy cần nhãn thật, nhưng mọi thước đo của học có giám sát đều thế nên đó không phải hạn chế riêng với dữ liệu mất cân bằng. "It works only with numeric targets" sai vì accuracy được dùng chính cho mục tiêu dạng nhãn phân lớp, còn mục tiêu số thì dùng sai số như MSE.

Đáp án đúng: "Impure split". Chỉ số Gini của một nút trong cây quyết định tính bằng 1 trừ tổng bình phương tỉ lệ các lớp; nút chỉ chứa một lớp có Gini bằng 0, còn hai lớp chia đều thì Gini đạt cực đại 0,5. Gini càng cao thì các lớp càng trộn lẫn, nghĩa là phép tách tạo ra nút không thuần (impure), và thuật toán như CART sẽ chọn phép tách làm giảm Gini nhiều nhất. "Pure split" ngược lại: tách thuần cho Gini bằng 0 hoặc rất thấp. "Perfect classification" cũng ứng với các nút lá thuần, Gini bằng 0. "Equal class balance" đúng là hoàn cảnh khiến Gini một nút đạt cực đại, nhưng điều chỉ số báo cho người xây cây là phép tách chưa tách được lớp, tức mức độ không thuần; cân bằng lớp của cả tập dữ liệu là chuyện khác mà câu hỏi không hỏi.

Đáp án đúng: "Foundations stand the test of time.". Công cụ dữ liệu lớn thay đổi rất nhanh, như MapReduce dần nhường chỗ cho Spark, nền tảng và phiên bản mới xuất hiện liên tục, nhưng kiến thức nền như các chữ V của dữ liệu lớn, mô hình dữ liệu, xử lý phân tán, chịu lỗi, đánh đổi giữa nhất quán và sẵn sàng vẫn giữ giá trị lâu dài; nắm vững chúng giúp người học tiếp cận được bất kỳ công cụ mới nào. "Foundations allow for the understanding of practical concepts in Hadoop." không sai hẳn nhưng quá hẹp, vì giá trị của kiến thức nền không gói trong một công cụ cụ thể như Hadoop. "Foundations help you revisit calculus concepts required in the understanding of big data." sai vì nền tảng dữ liệu lớn nói về khái niệm hệ thống và dữ liệu, không phải ôn lại giải tích. "Foundations is all that is required to show a mastery of big data concepts." sai vì kiến thức nền là điều kiện cần chứ chưa đủ; thành thạo còn đòi hỏi thực hành với công cụ và dữ liệu thật.

Đáp án đúng: "Model overfits". Trong kNN, k là số láng giềng được dùng để bỏ phiếu; khi k quá nhỏ, ví dụ k bằng 1, nhãn của mẫu mới phụ thuộc hoàn toàn vào một điểm gần nhất, nên mô hình bám sát từng điểm huấn luyện kể cả nhiễu và ngoại lệ, đường biên quyết định gồ ghề, đúng gần tuyệt đối trên tập huấn luyện nhưng kém trên dữ liệu mới, đó là quá khớp (overfitting). "Model underfits" là điều xảy ra khi k quá lớn: bỏ phiếu trên quá nhiều điểm làm biên quá trơn, lớp đông áp đảo, mô hình bỏ qua cấu trúc cục bộ. "Clusters become clear" sai vì kNN là thuật toán phân loại có giám sát, không tạo cụm, và k nhỏ còn làm kết quả nhiễu hơn chứ không rõ hơn. "No classification is made" sai vì với k nhỏ nhất bằng 1 thuật toán vẫn luôn gán được nhãn cho mẫu mới.

Đáp án đúng: "The $match operator". Trong aggregation pipeline (đường ống tổng hợp) của MongoDB, $match là giai đoạn lọc tài liệu: nó nhận điều kiện theo cú pháp truy vấn giống find, chỉ cho những tài liệu thoả điều kiện đi tiếp sang các giai đoạn sau, và nên đặt sớm để tận dụng chỉ mục, giảm khối lượng xử lý. "The $filter function" là toán tử biểu thức dùng bên trong một giai đoạn như $project để lọc các phần tử của một mảng trong từng tài liệu, chứ không lọc chính các tài liệu. "The $lookup operator" thực hiện phép nối kiểu left outer join với một collection khác để ghép thêm dữ liệu. "The $group operator" gom tài liệu theo khoá _id và tính các giá trị tổng hợp như $sum, $avg, tương tự GROUP BY trong SQL, nên không phải công cụ lọc.

Đáp án đúng: "Low Veracity". Veracity (độ xác thực) đo mức tin cậy của dữ liệu: dữ liệu có chính xác không, có nhiễu, thiên lệch hay bị làm giả không. Trong tình huống, khoảng 90% đánh giá là 5 sao nhưng một nửa trong số đó, tức khoảng 45% tổng số đánh giá, đến từ người không có bằng chứng mua hàng hoặc viết không nghiêm túc; dữ liệu như vậy phản ánh sai mức hài lòng thật nên có độ xác thực thấp. "High Veracity" ngược lại, chỉ đúng khi đánh giá đến từ người mua thật và đáng tin. "Low Volume" nói về khối lượng dữ liệu ít, nhưng tình huống không cho biết số đánh giá nhiều hay ít. "High Volume" có thể đúng với quy mô dữ liệu của Amazon nói chung, nhưng vấn đề tình huống nêu ra là chất lượng của đánh giá chứ không phải số lượng.