Tất cả câu hỏi

Đáp án đúng: "Data is unbounded in size but requires only finite time and space to process it.". Dữ liệu luồng (streaming data) đến liên tục, không có điểm kết thúc nên kích thước không bị chặn (unbounded); hệ xử lý luồng không đợi gom đủ rồi mới tính mà xử lý từng phần tử hoặc từng cửa sổ (window) nhỏ khi nó tới và chỉ giữ một trạng thái gọn, nên mỗi bước tốn thời gian và bộ nhớ hữu hạn bất kể dòng dài bao nhiêu. "The data is finite and requires only finite time and space to process the data." mô tả dữ liệu tĩnh xử lý theo lô (batch), nơi tập dữ liệu có kích thước xác định từ trước. "The data is unbounded in size, and the size determines the time and space of processing the data." sai vì nếu chi phí tăng theo kích thước của một dòng vô hạn thì không hệ nào xử lý nổi; xử lý luồng tồn tại chính là để tách chi phí khỏi tổng kích thước. "Data is finite in size, and size determines the time and space of processing the data." là đặc trưng của xử lý theo lô truyền thống, khi thời gian chạy tăng theo dung lượng tập dữ liệu.

Đáp án đúng: "Trees take advantage of the parent-child relationship of the data for easy navigation". Dữ liệu bán cấu trúc như XML và JSON có tính lồng nhau: một phần tử XML chứa phần tử con, một đối tượng JSON chứa đối tượng hay mảng con, nên biểu diễn thành cây với quan hệ cha con là tự nhiên; nhờ đó có thể duyệt theo đường dẫn từ gốc xuống như XPath hay JSONPath, tìm cha, con, anh em của một nút. "Computers can easily visualize the data with a tree structure" nói về việc hiển thị, trong khi lợi ích cốt lõi là điều hướng và truy vấn theo cấu trúc chứ không phải vẽ cho đẹp. "It is not always the case that XML and JSON can be represented as trees" sai vì tài liệu XML hợp lệ và giá trị JSON đều có cấu trúc lồng nhau nên luôn biểu diễn được thành cây. Phương án cho rằng cây chỉ hữu ích với XML vì "JSON does not contain a tree-like structure as it contains arrays" sai vì mảng JSON chỉ là một nút có các con được đánh thứ tự, vẫn nằm trong cây.

Đáp án đúng: "Resilient Distributed Dataset". RDD là trừu tượng dữ liệu cốt lõi của Spark: Resilient (bền bỉ) vì mỗi RDD ghi lại dòng dõi (lineage) các phép biến đổi đã tạo ra nó, nên phân vùng bị mất có thể tính lại thay vì phải sao lưu; Distributed (phân tán) vì dữ liệu chia thành các phân vùng nằm trên nhiều nút của cụm; Dataset vì nó là tập bản ghi bất biến, được thao tác qua transformation như map, filter và action như count, collect. "Real Data Design" không phải thuật ngữ của Spark và không nói gì về khả năng chịu lỗi hay phân tán. "Remote Data Design" cũng không tồn tại; dữ liệu của RDD nằm ngay trên các executor của cụm chứ không phải một thiết kế dữ liệu từ xa. "Relational Data Dump" sai vì RDD không có lược đồ quan hệ và không phải bản kết xuất (dump) từ cơ sở dữ liệu; dữ liệu có cấu trúc theo cột là phạm vi của DataFrame trong Spark SQL.

Đáp án đúng: "Account Number should be unique". Câu dẫn bị cụt chữ, nhưng ý định là hỏi ràng buộc (constraint) nào đặt lên trường Account Number khi tổng hợp dữ liệu cuối năm: số tài khoản dùng để nhận diện từng người đăng ký, nên mỗi số chỉ được xuất hiện một lần trong tập tổng hợp, tức ràng buộc duy nhất (unique) giống một khoá. "Account should have at most n digits" là ràng buộc về độ dài, có thể tồn tại trong thiết kế nhưng không phải điều mà việc tổng hợp cuối năm dựa vào. "If we had n duplicate Account Numbers then we will remove n-1 duplicate fields" mô tả thao tác làm sạch (khử trùng lặp), là cách thực thi hệ quả của ràng buộc duy nhất chứ bản thân nó không phải ràng buộc. "There are no constraints" sai vì nếu trường này không có ràng buộc gì thì không thể dựa vào số tài khoản để gộp bản ghi của cùng một người; ghi chú về NULL chỉ nói cách lưu giá trị bị bỏ trống.

Đáp án đúng: "Euler". Lý thuyết đồ thị khởi đầu năm 1736 khi Leonhard Euler giải bài toán bảy cây cầu Königsberg: ông mô hình hoá mỗi vùng đất là một đỉnh, mỗi cây cầu là một cạnh, rồi chứng minh không thể đi qua mỗi cầu đúng một lần vì có quá nhiều đỉnh bậc lẻ. Cách trừu tượng hoá thành đỉnh và cạnh đó là nền móng của phân tích đồ thị dùng trong dữ liệu lớn hôm nay, từ mạng xã hội tới định tuyến đường đi. "Einstein" nổi tiếng với thuyết tương đối trong vật lý, không liên quan tới đồ thị. "Newton" đặt nền cho cơ học cổ điển và giải tích, sống trước Euler nhưng không xây dựng lý thuyết đồ thị. "Darwin" là nhà sinh học với thuyết tiến hoá bằng chọn lọc tự nhiên.

Đáp án đúng: "Facebook reveals posts that cater towards similar interests.". Tiếp thị cá nhân hoá dựa trên dữ liệu lớn nghĩa là hệ thống tự thu thập lượng lớn dấu vết hành vi của từng người như lượt thích, bình luận, thời gian xem, mạng bạn bè, rồi dùng mô hình gợi ý để chọn nội dung hợp với sở thích riêng của người đó; bảng tin Facebook ưu tiên bài viết tương tự những gì người dùng đã tương tác là ví dụ điển hình. "News outlets gather information from the internet to report it to the public." là hoạt động báo chí đưa cùng một tin cho mọi người, không phải tiếp thị và không nhắm tới từng cá nhân. "A survey that asks your age and markets a specific brand to you." chỉ dựa vào một thuộc tính nhân khẩu do người dùng tự khai, tức là phân khúc theo nhóm tuổi kiểu truyền thống chứ không khai thác dữ liệu hành vi quy mô lớn. "Survey collecting age for brand-specific marketing." diễn đạt lại đúng ý trên, cũng là khảo sát nhỏ theo nhóm tuổi nên cũng không phải cá nhân hoá bằng dữ liệu lớn.

Đáp án đúng: "MySQL". MySQL là hệ quản trị cơ sở dữ liệu quan hệ (RDBMS): dữ liệu tổ chức thành bảng có lược đồ cố định, truy vấn bằng SQL, giao dịch tuân theo ACID, và thường mở rộng theo chiều dọc bằng máy mạnh hơn. Câu hỏi dạng NOT nên những hệ NoSQL thật không được chọn: "MongoDB" là cơ sở dữ liệu hướng tài liệu (document store), lưu bản ghi dạng BSON giống JSON với lược đồ linh hoạt; "HBase" là kho dữ liệu dạng cột rộng (wide-column) chạy trên HDFS, mô phỏng Bigtable của Google, cho đọc ghi ngẫu nhiên theo khoá hàng; "Cassandra" cũng là cơ sở dữ liệu cột rộng, phân tán ngang hàng không có nút chủ, ưu tiên tính sẵn sàng và nhất quán sau cùng (eventual consistency).

Đáp án đúng: "Fast and Simple". Dữ liệu dòng (streaming data) đến liên tục và không có điểm kết thúc, nên thuật toán phân tích dòng phải xử lý mỗi phần tử ngay khi nó tới, thường chỉ nhìn một lần, với thời gian rất ngắn để theo kịp tốc độ dữ liệu đổ vào; vì vậy chúng được thiết kế nhanh và đơn giản, chẳng hạn đếm, cộng dồn hay cập nhật cửa sổ trượt. "Accurate and Consistent" không đúng vì phân tích dòng thường chấp nhận kết quả xấp xỉ để đổi lấy tốc độ, và dữ liệu có thể đến trễ, sai thứ tự. "Fast and Complex" tự mâu thuẫn: thuật toán phức tạp tốn nhiều phép tính trên mỗi phần tử nên không theo kịp dòng. "Accurate and Memory Efficient" đúng một nửa, vì tiết kiệm bộ nhớ quả là yêu cầu khi không thể lưu cả dòng, nhưng chính xác tuyệt đối thường phải hy sinh, nên đây không phải đặc trưng được nêu.

Đáp án đúng: "Business Objectives". Một chiến lược dữ liệu lớn phải bắt đầu từ câu hỏi doanh nghiệp muốn đạt điều gì: tăng doanh thu, giảm khách hàng rời bỏ hay tối ưu vận hành. Chỉ khi mục tiêu kinh doanh rõ ràng mới biết cần dữ liệu gì, phân tích gì và đo thành công bằng chỉ số nào; thiếu bước này, các bước sau dễ thành đầu tư công nghệ không có đích. "Organizational Buy-In" (sự ủng hộ của tổ chức, nhất là từ lãnh đạo) rất quan trọng nhưng muốn thuyết phục được ai thì trước hết phải có mục tiêu để trình bày. "Build In-House Expertise" là xây đội ngũ chuyên môn nội bộ, làm sau khi đã biết mục tiêu đòi hỏi kỹ năng nào. "Collect Data" là bước thu thập, cần được dẫn dắt bởi mục tiêu để không gom tràn lan dữ liệu vô ích.

Đáp án đúng: "HBase". HBase là cơ sở dữ liệu NoSQL họ cột (wide-column), mô phỏng Bigtable của Google và chạy trên HDFS: dữ liệu được tổ chức theo khoá hàng, các họ cột (column family) được lưu riêng, mỗi hàng có thể có số cột khác nhau, phù hợp truy cập ngẫu nhiên đọc ghi theo thời gian thực trên bảng rất lớn. "MongoDB" là cơ sở dữ liệu hướng tài liệu (document), lưu bản ghi dạng BSON giống JSON lồng nhau, không tổ chức theo họ cột. "Redis" là kho key-value trong bộ nhớ, ánh xạ khoá tới giá trị hoặc cấu trúc như danh sách, tập hợp, dùng nhiều cho bộ đệm và hàng đợi. "Neo4j" là cơ sở dữ liệu đồ thị, lưu nút, quan hệ và thuộc tính, truy vấn bằng Cypher, mạnh ở bài toán đi theo quan hệ chứ không phải lưu trữ theo cột.

Đáp án đúng: "An index table in order to keep track of a given data type that might exist within multiple machines.". Trong hệ quản lý dữ liệu lớn phân tán, dữ liệu được chia mảnh (partition) ra nhiều máy; chỉ mục cục bộ (local index) chỉ biết bản ghi nằm đâu trong một máy, nên muốn tìm theo một thuộc tính phải hỏi tất cả các máy. Bảng chỉ mục toàn cục (global indexing table) ghi lại một loại dữ liệu hay một giá trị khoá có thể nằm ở những máy nào trong cụm, nhờ đó truy vấn được chuyển thẳng tới đúng các nút cần thiết. "A global table that uses a specific technique called indexing and the table uses an index as the primary key." sai vì chỉ diễn giải chữ nghĩa của cái tên; dùng chỉ mục làm khoá chính là chuyện của bảng nào cũng có, không nói lên vai trò theo dõi dữ liệu xuyên nhiều máy. "An index table in order to keep track of data records within one machine." mô tả chỉ mục cục bộ thông thường của một máy. "An index table in order to keep track of a given data type that might exist within one machine." cũng giới hạn trong một máy, nên mất đúng tính toàn cục là phạm vi của cả cụm.

Đáp án đúng: "Data lakes house raw data while data warehouses contain pre-formatted data.". Data lake (hồ dữ liệu) chứa dữ liệu ở dạng thô, nguyên trạng như khi thu về, cấu trúc chỉ được áp khi đọc (schema-on-read); data warehouse (kho dữ liệu) chứa dữ liệu đã được làm sạch, chuyển đổi và định dạng theo lược đồ cố định trước khi nạp (schema-on-write) để phục vụ báo cáo và truy vấn phân tích. "Data lakes utilize hierarchical systems while data warehouses use object storage." nói gần như ngược: hồ dữ liệu hay đặt trên kho đối tượng phẳng hoặc HDFS, còn kho dữ liệu tổ chức theo bảng quan hệ. "Data lakes contain only files, while data warehouses contain only databases." sai vì chữ only quá tuyệt đối: hồ dữ liệu chứa cả bảng, log, ảnh, và kho dữ liệu cũng không chỉ là một cơ sở dữ liệu. "None of the above." sai vì đã có một phương án mô tả đúng khác biệt cốt lõi.

Đáp án đúng: "Parquet". Parquet là định dạng lưu trữ theo cột (columnar) của hệ sinh thái Hadoop: giá trị của cùng một cột được đặt liền nhau, nén rất tốt vì cùng kiểu dữ liệu, và khi truy vấn chỉ cần vài cột thì hệ thống chỉ đọc đúng các cột đó, kèm thống kê theo khối để bỏ qua dữ liệu không thỏa điều kiện; vì vậy nó tối ưu cho tải đọc nhiều, phân tích nhiều, ghi một lần. "JSON" là định dạng văn bản bán cấu trúc lưu theo từng bản ghi, lặp lại tên trường ở mọi bản ghi và phải phân tích cú pháp toàn bộ khi đọc, nên chậm và tốn chỗ. "CSV" cũng là văn bản theo dòng, không có kiểu dữ liệu, không nén theo cột, muốn lấy một cột vẫn phải đọc hết từng dòng. "TXT" là văn bản thuần không có cấu trúc, không hỗ trợ đọc chọn lọc hay lược đồ nên kém nhất cho truy vấn phân tích.

Đáp án đúng: "Algorithm Prediction". Học máy thường được chia theo loại bài toán: phân loại (classification) dự đoán nhãn rời rạc, hồi quy (regression) dự đoán giá trị số, phân tích cụm (cluster analysis) gom các mẫu giống nhau khi không có nhãn, và phân tích kết hợp (association analysis) tìm các mục hay xuất hiện cùng nhau. "Algorithm Prediction" không phải tên một nhóm bài toán nào; dự đoán là việc mà nhiều loại mô hình làm, còn thuật toán là công cụ chứ không phải một hạng mục. Câu hỏi dạng NOT nên bốn hạng mục thật không được chọn: "Cluster Analysis" là học không giám sát, ví dụ k-means chia khách hàng thành nhóm; "Classification" là học có giám sát với nhãn lớp, như kNN, cây quyết định, naive Bayes; "Regression" là học có giám sát với đầu ra liên tục, như dự đoán giá nhà; "Association Analysis" tìm luật dạng mua bánh mì thì mua bơ, đo bằng support và confidence.

Đáp án đúng: "MATCH p = shortestPath((from)-[:TO*]->(to)) WITH REDUCE(dist = 0, rel in rels(p) | dist + toInt(rel.dist)) AS distance RETURN path, distance". Trong Cypher của Neo4j, shortestPath tìm đường ngắn nhất qua các quan hệ TO với độ dài thay đổi (dấu sao), sau đó rels(p) lấy danh sách các cạnh trên đường p và REDUCE duyệt từng cạnh, cộng dồn thuộc tính dist (đã đổi sang số nguyên bằng toInt) vào biến tích luỹ bắt đầu từ 0; kết quả là tổng khoảng cách, tức trọng số của đường đi. "MATCH (a)-[:TO]->(b) RETURN path" chỉ khớp đúng một cạnh giữa hai nút, không có hàm tìm đường ngắn nhất và không tính trọng số nào. "MATCH (n)-[r]-() RETURN REDUCE(dist=0, r in r | dist + 1)" chỉ cộng 1 cho mỗi quan hệ nên đếm số cạnh, bỏ qua thuộc tính khoảng cách và cũng không có đường đi nào. "MATCH p=(a)-[:TO*]->(b) RETURN reduce(p)" gọi reduce thiếu biến tích luỹ và biểu thức cộng dồn nên không hợp lệ, và mẫu này trả mọi đường chứ không chọn đường ngắn nhất.

Đáp án đúng: "Google". MapReduce là mô hình lập trình xử lý song song dữ liệu lớn trên cụm máy, chia việc thành pha Map (biến mỗi bản ghi thành các cặp khoá, giá trị) và pha Reduce (gộp các giá trị cùng khoá). Google công bố mô hình này năm 2004 trong bài báo của Jeffrey Dean và Sanjay Ghemawat, dùng để xây chỉ mục web, và chính bài báo đó truyền cảm hứng cho Hadoop mã nguồn mở. "Amazon" phổ biến hoá điện toán đám mây qua AWS và có dịch vụ Elastic MapReduce, nhưng đó là dịch vụ chạy Hadoop chứ không phải nơi đưa ra mô hình. "Facebook" là người dùng lớn của Hadoop và tạo ra Hive để viết truy vấn kiểu SQL thay cho mã MapReduce. "Microsoft" có hệ thống riêng như Dryad và sau này đưa Hadoop vào HDInsight, nhưng không phải bên làm MapReduce trở nên phổ biến.

Đáp án đúng: "To import structured CSV data". Trong Neo4j, mệnh đề LOAD CSV WITH HEADERS đọc một tệp CSV, coi dòng đầu là tên cột và trả mỗi dòng sau thành một bản ghi dạng map, nhờ đó có thể viết tiếp CREATE hoặc MERGE để tạo nút và quan hệ từ dữ liệu bảng, tức là nạp dữ liệu có cấu trúc vào đồ thị. "To backup graph data" sai vì sao lưu cơ sở dữ liệu Neo4j dùng công cụ quản trị như neo4j-admin dump hoặc backup, không dùng một mệnh đề truy vấn đọc tệp. "To export results to CSV" ngược chiều: mệnh đề này đọc dữ liệu vào chứ không ghi kết quả ra; xuất CSV phải dùng chức năng tải xuống của trình duyệt Neo4j hoặc thủ tục của thư viện APOC. "To visualize graphs" là việc của Neo4j Browser hay Bloom khi hiển thị kết quả truy vấn, không phải tác dụng của việc nạp tệp.

Đáp án đúng: "A high-level dataflow language". Pig Latin là ngôn ngữ của Apache Pig, mô tả việc xử lý dữ liệu như một dòng dữ liệu (dataflow): mỗi câu lệnh như LOAD, FILTER, GROUP, JOIN, FOREACH nhận một quan hệ và sinh ra quan hệ mới, rồi Pig biên dịch chuỗi bước đó thành các tác vụ MapReduce (hoặc Tez, Spark) chạy trên Hadoop, giúp người dùng khỏi viết mã Java cấp thấp. "A language used for NLP" sai vì Pig Latin không dùng để xử lý ngôn ngữ tự nhiên; cái tên chỉ là cách chơi chữ với trò nói lái trong tiếng Anh. "A machine learning tool" sai vì Pig chỉ biến đổi và tổng hợp dữ liệu; học máy trên Hadoop thuộc về các thư viện như Mahout hay Spark MLlib. "A protocol" sai vì Pig Latin là ngôn ngữ lập trình xử lý dữ liệu, không phải giao thức truyền thông hay quy ước trao đổi giữa các hệ thống.

Đáp án đúng: "Companies can't afford to own, maintain, and spend the energy to support large data storage unless the cost is sufficiently low.". Lưu trữ dữ liệu lớn đòi hỏi mua ổ đĩa, xây trung tâm dữ liệu, bảo trì và trả tiền điện cho hàng nghìn máy; chỉ khi giá lưu trữ trên mỗi đơn vị dung lượng giảm đủ sâu thì doanh nghiệp mới có thể giữ toàn bộ dữ liệu thay vì phải chọn lọc rồi xoá bớt, nên tỉ lệ dung lượng trên giá là điều kiện kinh tế làm dữ liệu lớn khả thi. Đây là chỗ dễ tranh cãi: "Lower prices mean larger storage becomes easier to access for everyone" cũng nói giá lưu trữ giảm làm dữ liệu lớn khả thi và một số tài liệu ôn tập ghi nó là đáp án, nhưng nó nhấn vào khả năng tiếp cận của mọi người và dịch vụ phía khách hàng, còn lý do cốt lõi là chi phí sở hữu và vận hành của tổ chức. "Larger storage means easier accessibility to big data for every user" lạc sang việc người dùng tải hàng loạt, không liên quan tới chi phí. "It isn't; it was just an arbitrary example of big data usage." sai vì giá lưu trữ giảm là một động lực chính khiến dữ liệu lớn bùng nổ.