Tất cả câu hỏi

Đáp án đúng: "Volume". Volume (khối lượng) là chữ V nói về kích thước dữ liệu; khi số bản ghi hay số đỉnh, số cạnh tăng lên hàng tỷ, thuật toán có độ phức tạp tăng theo n log n hay n bình phương sẽ cần thời gian và bộ nhớ vượt khả năng một máy, tới mức phân tích không chạy xong trong thời gian hợp lý, nên phải chia nhỏ và xử lý song song. Đây là chỗ có tranh cãi thật với "Valence": Valence (độ kết nối) đo mức các phần tử dữ liệu liên kết với nhau, và khi mạng lưới dày lên thì thuật toán khám phá đồ thị cũng phức tạp hơn, nên một số tài liệu nối "độ phức tạp thuật toán" với Valence; cách hiểu được nhiều bộ câu hỏi ghi nhận cho đúng câu này là Volume, vì câu hỏi nhấn vào việc phân tích không chạy xong do quy mô, còn Valence là đáp án của câu hỏi về mật độ kết nối tăng. "Velocity" (tốc độ) gây áp lực phải xử lý kịp dữ liệu đang đến, là vấn đề độ trễ chứ không phải độ phức tạp thuật toán. "Variety" (đa dạng) làm khó khâu tích hợp và mô hình hoá các định dạng khác nhau.

Đáp án đúng: "Low level deals with storage and scheduling while high level deals with interactivity". Hệ sinh thái Hadoop được nhìn như các tầng: tầng thấp lo hạ tầng gồm lưu trữ phân tán (HDFS) và quản lý, lập lịch tài nguyên (YARN), còn tầng cao gồm các giao diện người dùng tương tác trực tiếp như Hive với truy vấn kiểu SQL, Pig với Pig Latin hay các công cụ phân tích, giúp người dùng làm việc mà không phải lo chi tiết phân tán. Các tầng trên dựa vào tầng dưới: Hive biên dịch truy vấn thành job chạy trên YARN và đọc dữ liệu từ HDFS. Phương án "Low level deals with interactivity while high level deals with storage and scheduling" đảo ngược vai trò hai tầng: lưu trữ và lập lịch là phần nền mà mọi thứ khác dựa vào nên phải nằm thấp nhất, còn sự tương tác với người dùng là thứ đặt ở trên cùng, xa phần cứng nhất.

Đáp án đúng: "df['sales'].mean()". Trong Pandas, df['sales'] chọn cột sales của DataFrame và trả về một Series; Series có phương thức mean() tính trung bình cộng các giá trị, mặc định bỏ qua giá trị thiếu NaN, nên df['sales'].mean() là cú pháp đúng và gọn nhất. "mean(df['sales'])" sai vì Python không có hàm dựng sẵn tên mean; muốn gọi dạng hàm phải ghi rõ thư viện như np.mean(df['sales']) hoặc statistics.mean, còn viết trần sẽ báo NameError. "df mean('sales')" sai cú pháp vì thiếu dấu chấm để truy cập phương thức, và kể cả viết df.mean('sales') thì đối số đầu của DataFrame.mean là trục (axis) chứ không phải tên cột. "sales mean()" sai vì sales không phải một biến tồn tại riêng mà chỉ là tên cột bên trong df, lại cũng thiếu dấu chấm.

Đáp án đúng: "Divide the sum of the diagonal values in the confusion matrix by the total number of samples.". Ma trận nhầm lẫn (confusion matrix) xếp số mẫu theo lớp thật và lớp dự đoán; các ô trên đường chéo chính là những mẫu được dự đoán đúng lớp, các ô ngoài đường chéo là dự đoán sai. Độ chính xác (accuracy) bằng số dự đoán đúng chia tổng số mẫu: ví dụ ma trận hai lớp có đường chéo 50 và 40, ngoài chéo 6 và 4, thì accuracy bằng 90 chia 100, tức 0,9. "Divide the sum of the diagonal values in the confusion matrix by the sum of the off-diagonal values." chia số đúng cho số sai, ra tỷ số đúng trên sai (trong ví dụ là 90 chia 10 bằng 9) chứ không phải tỷ lệ đúng. "Divide the sum of all the values in the confusion matrix by the total number of samples." luôn bằng 1 vì tổng mọi ô chính là tổng số mẫu. "Divide the sum of the off-diagonal values in the confusion matrix by the total number of samples." cho tỷ lệ lỗi (error rate), bằng 1 trừ accuracy, tức 0,1 trong ví dụ.

Đáp án đúng: "Size of data". Trong mô hình các chữ V của dữ liệu lớn, Volume (khối lượng) chỉ quy mô dữ liệu khổng lồ, tính bằng terabyte, petabyte trở lên, vượt khả năng lưu và xử lý của một máy đơn lẻ, buộc phải dùng lưu trữ phân tán như HDFS và xử lý song song. "Speed of data" là Velocity (tốc độ), nói về dữ liệu sinh ra và cần xử lý liên tục, nhanh như dòng sự kiện cảm biến hay giao dịch, chứ không nói tới độ lớn. "Type of data" là Variety (đa dạng), chỉ sự khác biệt về định dạng và cấu trúc như bảng quan hệ, văn bản, ảnh, đồ thị, JSON. "Accuracy of data" là Veracity (độ tin cậy), nói về chất lượng, độ chính xác và mức không chắc chắn của dữ liệu, vốn có thể kém dù dữ liệu nhỏ hay lớn.

Đáp án đúng: "The language specifies what data to obtain.". Ngôn ngữ truy vấn khai báo (declarative) như SQL, HiveQL hay Cypher chỉ yêu cầu người dùng mô tả kết quả muốn có: lấy cột nào, từ bảng nào, thoả điều kiện gì; còn cách lấy, như dùng chỉ mục nào, nối theo thứ tự nào, chạy song song ra sao, do bộ tối ưu truy vấn của hệ thống tự quyết. "The language specifies the process of how to obtain the data." là định nghĩa của ngôn ngữ thủ tục hay mệnh lệnh (imperative), nơi người viết phải chỉ ra từng bước như vòng lặp duyệt bản ghi. "The language specifies both the process of how to obtain the data and specifies what data to obtain." sai vì tinh thần khai báo chính là không bắt người dùng nêu quy trình. "A language specific declaration of data types in order to define the method of data retrieval." chỉ chơi chữ với từ declaration; khai báo kiểu dữ liệu là việc định nghĩa lược đồ, không phải đặc điểm của ngôn ngữ truy vấn khai báo.

Đáp án đúng: "A compressed list that is stored within the value of the database.". Trong Redis, ziplist là một cách mã hoá nội bộ gọn nhẹ: các phần tử của một danh sách, hash hay sorted set nhỏ được xếp liền nhau trong một khối bộ nhớ liên tục, không dùng con trỏ, và khối đó chính là giá trị gắn với khoá; nhờ vậy tiết kiệm bộ nhớ đáng kể. Khi số phần tử hay độ dài phần tử vượt ngưỡng cấu hình, Redis chuyển sang cấu trúc thường; các bản Redis mới thay ziplist bằng listpack cùng ý tưởng. Mảnh "store hashes that point to multiple attributes" mô tả kiểu Hash, còn ziplist không phải kiểu dữ liệu riêng mà là cách lưu bên trong. Mảnh "store up to 512 mb of image data" lấy giới hạn 512 MB của giá trị String, không liên quan ziplist. Mảnh "Look up table points to actual values in memory" mô tả bảng băm dùng con trỏ, đúng kiểu cấu trúc mà ziplist được tạo ra để tránh.

Đáp án đúng: "Different data types". Variety (tính đa dạng) trong mô hình các chữ V của dữ liệu lớn chỉ sự khác nhau về kiểu và định dạng dữ liệu: bảng có cấu trúc, JSON hay XML bán cấu trúc, văn bản, ảnh, video, âm thanh, dữ liệu cảm biến phi cấu trúc; chính sự đa dạng này buộc hệ thống phải có cách lưu trữ và tích hợp linh hoạt hơn cơ sở dữ liệu quan hệ. "Size of data" là Volume (khối lượng), nói về dung lượng khổng lồ tính bằng terabyte, petabyte. "Speed of data" là Velocity (tốc độ), nói về dữ liệu sinh ra và cần xử lý nhanh, gần thời gian thực. "Accuracy of data" thuộc về Veracity (độ xác thực), nói về mức tin cậy, độ nhiễu và sai lệch của dữ liệu.

Đáp án đúng: "Marketing to each customer on an individual level and suiting to their needs". Dữ liệu lớn cho phép gom lịch sử mua, lượt xem, vị trí, tương tác mạng xã hội của từng khách hàng và dùng mô hình để đưa ra sản phẩm, giá hay thông điệp riêng cho đúng người đó, tức là tiếp thị ở mức một khách hàng chứ không theo phân khúc chung. "Being able to use the data from each customer for marketing needs" chỉ nói tới việc dùng dữ liệu cho tiếp thị nói chung mà thiếu ý cốt lõi là điều chỉnh theo nhu cầu riêng từng người; dùng dữ liệu để thống kê tổng thể cũng thỏa câu này mà không hề cá nhân hoá. "Being able to obtain and use customer information for specific groups and utilize them for marketing needs" mô tả tiếp thị theo phân khúc (segmentation), nhắm tới nhóm khách hàng có đặc điểm chung, đúng là có ích nhưng là cấp độ thô hơn cá nhân hoá mà câu hỏi đang hỏi.

Đáp án đúng: "Aggregates output". Trong MapReduce, hàm map biến mỗi bản ghi đầu vào thành các cặp khoá–giá trị trung gian; sau pha shuffle and sort, mọi giá trị cùng khoá được gom về một reducer, và hàm reduce tổng hợp danh sách giá trị đó thành kết quả cuối, ví dụ trong bài đếm từ nó cộng các số 1 của cùng một từ để ra tổng số lần xuất hiện. "Sorts input" sai vì việc sắp xếp theo khoá do framework làm trong pha shuffle and sort, trước khi reduce được gọi, chứ không phải nhiệm vụ của hàm reduce. "Maps keys to values" là mô tả của hàm map, bước sinh ra các cặp khoá–giá trị. "Stores data" sai vì lưu trữ thuộc về HDFS; reduce chỉ ghi kết quả của nó ra hệ thống tệp ở bước cuối, bản thân nó là phép tính tổng hợp.

Đáp án đúng: "Impure split". Chỉ số Gini của một nút trong cây quyết định tính bằng 1 trừ tổng bình phương tỉ lệ các lớp; nút chỉ chứa một lớp có Gini bằng 0, còn hai lớp chia đều thì Gini đạt cực đại 0,5. Gini càng cao thì các lớp càng trộn lẫn, nghĩa là phép tách tạo ra nút không thuần (impure), và thuật toán như CART sẽ chọn phép tách làm giảm Gini nhiều nhất. "Pure split" ngược lại: tách thuần cho Gini bằng 0 hoặc rất thấp. "Perfect classification" cũng ứng với các nút lá thuần, Gini bằng 0. "Equal class balance" đúng là hoàn cảnh khiến Gini một nút đạt cực đại, nhưng điều chỉ số báo cho người xây cây là phép tách chưa tách được lớp, tức mức độ không thuần; cân bằng lớp của cả tập dữ liệu là chuyện khác mà câu hỏi không hỏi.

Đáp án đúng: "Compare and weigh each source by their trustworthiness.". Khi có quá nhiều nguồn dữ liệu cho cùng một thông tin, các nguồn thường mâu thuẫn nhau; cách xử lý là đánh giá độ tin cậy của từng nguồn, chẳng hạn dựa vào mức nguồn đó khớp với các nguồn khác hoặc lịch sử chính xác của nó, rồi gán trọng số để giá trị từ nguồn uy tín được ưu tiên khi hợp nhất. Đây là bài toán gắn với Veracity (độ xác thực) của dữ liệu. "Randomly select a sample of sources to represent the various data sources." bỏ qua chất lượng: chọn ngẫu nhiên có thể giữ đúng các nguồn kém và loại mất nguồn tốt. "Take less samples per tick." là kỹ thuật giảm tần suất lấy mẫu của dữ liệu luồng, nhằm hạ Velocity của một nguồn chứ không giải quyết việc có quá nhiều nguồn. "None, the more the better." sai vì thêm nguồn mà không có cơ chế đánh giá chỉ làm tăng xung đột và nhiễu.

Đáp án đúng: "a node which can reach all other nodes quickly". Trong phân tích mạng, người có ảnh hưởng (influencer) được hiểu là nút có vị trí cho phép thông tin từ nó lan tới mọi nút khác qua ít bước nhất; điều này gắn với độ trung tâm gần (closeness centrality), đo bằng nghịch đảo tổng khoảng cách ngắn nhất từ nút đó tới mọi nút còn lại, khoảng cách càng nhỏ thì ảnh hưởng lan càng nhanh. "the biggest gossip in the network" là cách nói dân dã về người nói nhiều nhất, nhưng gửi nhiều thông điệp không bảo đảm thông điệp tới được cả mạng nhanh, nên không phải định nghĩa dựa trên cấu trúc đồ thị. "a node which has heavy weight edges to at least 1/2 of the nodes in the network" đặt ra ngưỡng một nửa số nút và trọng số cạnh lớn một cách tùy tiện; một nút có thể nối mạnh với nhiều nút lân cận mà vẫn ở xa phần còn lại của mạng, nên tiêu chí này không phản ánh khả năng lan tỏa.

Đáp án đúng: "To impose properties on a BDMS in order to guarantee certain results.". BASE gồm Basically Available (cơ bản luôn sẵn sàng), Soft state (trạng thái mềm, có thể thay đổi kể cả khi không có thao tác ghi) và Eventual consistency (nhất quán sau cùng); đó là bộ tính chất mà một hệ quản lý dữ liệu lớn (BDMS) cam kết với người dùng, tức hệ bảo đảm được những kết quả nào khi chạy trên cụm phân tán. Chỗ hay gây tranh cãi là "To overcome the CAP theorem.": BASE đúng là ra đời vì định lý CAP, vốn nói hệ phân tán khi bị phân mảnh mạng không thể vừa nhất quán vừa sẵn sàng, nhưng CAP là giới hạn không vượt qua được; BASE chỉ là cách chấp nhận giới hạn đó, chọn sẵn sàng và nới lỏng nhất quán, nên nói BASE vượt qua CAP là sai về bản chất. "Enables stricter enforcement of ACID type design." sai vì BASE nới lỏng chứ không siết chặt các bảo đảm kiểu ACID. "The same as ACID." sai vì ACID đòi nhất quán chặt cho mỗi giao dịch, còn BASE chấp nhận dữ liệu tạm lệch giữa các bản sao rồi hội tụ dần.

Đáp án đúng: "Data produced from an organization that is spread out. Bad because it creates unsynchronized and invisible data". Data silo (ốc đảo dữ liệu) là tình trạng dữ liệu của một tổ chức nằm rải rác ở từng phòng ban, từng hệ thống riêng, không được kết nối; hậu quả là các bản sao không đồng bộ với nhau và phần lớn dữ liệu vô hình với những bộ phận khác, nên tổ chức không có cái nhìn tổng thể. "A giant centralized database to house all the data production within an organization. Bad because it hinders opportunity for data generation" mô tả một kho tập trung, tức điều ngược lại với silo, và kho tập trung cũng không cản việc sinh dữ liệu. Mảnh "Bad because it is hard to maintain as highly structured data" cũng nói về kho tập trung, là giải pháp người ta hướng tới để phá silo chứ không phải bản thân silo. "Highly unstructured data. Bad because it does not provide meaningful results for organizations" nhầm silo với dữ liệu phi cấu trúc; dữ liệu phi cấu trúc vẫn khai thác được và silo có thể toàn bảng có cấu trúc.

Đáp án đúng gồm bốn ý: "In-memory processing", "Faster execution", "Support for multiple languages" và "Low latency for iterative algorithms". Apache Spark giữ dữ liệu trung gian trong bộ nhớ dưới dạng RDD (Resilient Distributed Dataset, tập dữ liệu phân tán có khả năng phục hồi) thay vì ghi xuống đĩa HDFS sau mỗi bước như MapReduce; nhờ đó tác vụ chạy nhanh hơn nhiều lần, và các thuật toán lặp như học máy hay PageRank, vốn đọc lại cùng dữ liệu qua nhiều vòng, có độ trễ thấp. Spark còn cung cấp API cho Scala, Java, Python, R cùng shell tương tác, trong khi MapReduce gắn chủ yếu với Java. "Higher fault tolerance" không phải ưu thế: MapReduce chịu lỗi bằng cách chạy lại tác vụ trên dữ liệu đã ghi đĩa, Spark tính lại phân vùng mất nhờ lineage (dòng dõi biến đổi), mức chịu lỗi tương đương chứ không cao hơn. "Batch-only processing" ngược thực tế, vì Spark xử lý được cả lô, luồng, SQL và đồ thị; chỉ xử lý theo lô lại là hạn chế của MapReduce.

Đáp án đúng: "Through two events: 'end' and 'start'". Trong bộ dữ liệu giả lập trò chơi Catch the Pink Flamingo, nhật ký cấp độ của đội ghi mỗi phiên chơi theo cặp sự kiện; khi đội lên cấp, phiên ở cấp cũ được đóng bằng một sự kiện kết thúc và phiên ở cấp mới được mở bằng một sự kiện bắt đầu, nên việc lên cấp hiện ra qua hai sự kiện liên tiếp end rồi start thay vì một bản ghi riêng mang tên lên cấp. "A sessionType of 'levelup'" sai vì không có loại phiên nào tên như vậy, kiểu sự kiện chỉ là bắt đầu hoặc kết thúc. "Using 'ad-clicks.csv'" sai vì tệp đó ghi lượt người chơi bấm vào quảng cáo, phục vụ phân tích doanh thu, không liên quan đến cấp độ của đội. "With 'platformType' changed to 'upgrade'" sai vì trường platformType mô tả nền tảng thiết bị người chơi dùng như điện thoại hay máy tính, không có giá trị nâng cấp và không mang thông tin cấp độ.

Đáp án đúng: "The $match operator". Trong aggregation pipeline (đường ống tổng hợp) của MongoDB, $match là giai đoạn lọc tài liệu: nó nhận điều kiện theo cú pháp truy vấn giống find, chỉ cho những tài liệu thoả điều kiện đi tiếp sang các giai đoạn sau, và nên đặt sớm để tận dụng chỉ mục, giảm khối lượng xử lý. "The $filter function" là toán tử biểu thức dùng bên trong một giai đoạn như $project để lọc các phần tử của một mảng trong từng tài liệu, chứ không lọc chính các tài liệu. "The $lookup operator" thực hiện phép nối kiểu left outer join với một collection khác để ghép thêm dữ liệu. "The $group operator" gom tài liệu theo khoá _id và tính các giá trị tổng hợp như $sum, $avg, tương tự GROUP BY trong SQL, nên không phải công cụ lọc.

Đáp án đúng: "All of the others". Trong Apache Spark, DataFrame được xây trên nền RDD (Resilient Distributed Dataset, tập dữ liệu phân tán có khả năng phục hồi) nên thừa hưởng cả ba tính chất. "Immutability" đúng: cả RDD lẫn DataFrame đều bất biến, mỗi phép biến đổi như map hay filter tạo ra đối tượng mới thay vì sửa đối tượng cũ. "In-memory" đúng: cả hai được tính toán và có thể lưu đệm (cache) trong bộ nhớ RAM của các executor, giúp nhanh hơn nhiều so với đọc ghi đĩa như MapReduce. "Resilient" đúng: khi một phân vùng bị mất do máy hỏng, Spark dựng lại nó từ lineage (chuỗi phép biến đổi đã ghi lại) mà không cần sao lưu toàn bộ dữ liệu. Vì cả ba đều là điểm chung, chọn riêng một tính chất là chưa đủ.