Tất cả câu hỏi

Đáp án đúng: "Check system compatibility with Cloudera VM requirements". Cloudera VM là máy ảo đóng gói sẵn Hadoop và các công cụ hệ sinh thái, chạy trong phần mềm ảo hoá như VirtualBox; máy ảo này đòi hỏi nhiều bộ nhớ RAM, dung lượng đĩa trống và CPU 64 bit có bật ảo hoá phần cứng, nên việc đầu tiên là kiểm tra máy có đáp ứng các yêu cầu đó không, tránh tải về hàng gigabyte rồi không khởi động được. "Install Cloudera Manager" không phải bước chuẩn bị máy cá nhân, vì công cụ quản trị cụm này được kèm sẵn bên trong máy ảo. "Download the course data sets" chỉ làm sau khi máy ảo đã chạy được để có chỗ nạp dữ liệu. "Run Jupyter Notebooks" là bước thực hành phân tích, nằm ở cuối chuỗi chuẩn bị.

Đáp án đúng: "Joining multiple tables using SQL syntax". Spark SQL có thể đọc bảng PostgreSQL qua nguồn dữ liệu JDBC thành DataFrame, đăng ký thành bảng tạm rồi chạy truy vấn SQL đầy đủ như lọc, gộp nhóm và nối nhiều bảng bằng JOIN, kể cả nối bảng PostgreSQL với dữ liệu từ nguồn khác. "Running machine learning models directly on the database tables" sai vì học máy là việc của MLlib trên DataFrame đã nạp vào Spark, không chạy trực tiếp trong bảng của cơ sở dữ liệu bằng Spark SQL. "Creating visualizations directly from SQL queries" sai vì Spark SQL chỉ trả về dữ liệu, vẽ biểu đồ phải dùng công cụ khác như thư viện Python, notebook hay công cụ báo cáo. "Sending email notifications upon query completion" không phải chức năng của một động cơ truy vấn; gửi thông báo thuộc về hệ thống điều phối hay lập lịch bên ngoài.

Đáp án đúng: "The covariance of y t and y t +h not depends only on the value of h=0,1, 2, . . .for all t .". Một chuỗi thời gian dừng (stationary) theo nghĩa yếu phải thoả ba điều kiện: kỳ vọng không đổi theo thời gian, phương sai hữu hạn, và hiệp phương sai giữa hai thời điểm chỉ phụ thuộc vào độ trễ h chứ không phụ thuộc vào vị trí t. Phát biểu được chọn phủ định điều kiện thứ ba: nếu hiệp phương sai còn phụ thuộc vào t thì cấu trúc tương quan thay đổi theo thời gian và chuỗi không dừng, nên đây là ngoại lệ câu hỏi tìm. Đây là câu EXCEPT nên những điều kiện thật không được chọn: "The expected value (mean) of yt is a constant for all values of t." là điều kiện trung bình không đổi, một chuỗi có xu hướng tăng dần sẽ vi phạm nó; "The variance of yt is finite" là điều kiện phương sai hữu hạn, và khi xét hiệp phương sai tại h bằng 0 thì phương sai còn phải không đổi theo t; "The covariance of y t and y t +h depends only on the value of h=0,1, 2, . . .for all t ." là điều kiện hiệp phương sai chỉ phụ thuộc độ trễ.

Đáp án đúng: "Latent error". Câu này thuộc thuật ngữ độ tin cậy hệ thống (dependability), không phải kiến thức dữ liệu lớn, và các phương án dùng bộ thuật ngữ kinh điển gồm lỗi tiềm ẩn, lỗi hiệu lực và hỏng hóc. Theo bộ thuật ngữ đó, một chỗ sai đã nằm trong mã nhưng chưa được thực thi tới là latent error (lỗi tiềm ẩn). "Effective error" là trạng thái khi chỗ sai đã được kích hoạt, tức đoạn mã chứa nó chạy và sinh ra dữ liệu hoặc trạng thái sai bên trong hệ thống. "Failure" là khi sai lệch lan tới đầu ra, làm dịch vụ hệ thống lệch khỏi đặc tả và người dùng thấy được. "Fault" trong bộ thuật ngữ kinh điển là nguyên nhân gốc, như sai lầm của người viết mã. Cần nói thẳng chỗ tranh cãi: trong cách gọi mới hơn của cùng lĩnh vực, một khiếm khuyết trong mã chưa được kích hoạt lại được gọi là lỗi gốc đang ngủ (dormant fault), nên "Fault" cũng bảo vệ được; câu này chấm theo bộ thuật ngữ mà chính các phương án đang dùng, nơi trạng thái đó mang tên lỗi tiềm ẩn.

Đáp án đúng: "Giraph". Apache Giraph là hệ xử lý đồ thị quy mô lớn chạy trên Hadoop, theo mô hình Pregel của Google: tính toán chia thành các siêu bước (superstep), trong mỗi bước mọi đỉnh song song nhận thông điệp, cập nhật giá trị và gửi thông điệp cho láng giềng, phù hợp với PageRank, đường đi ngắn nhất, thành phần liên thông trên đồ thị hàng tỷ cạnh. "Hive" là kho dữ liệu truy vấn bằng HiveQL kiểu SQL trên dữ liệu dạng bảng, không có mô hình tính toán theo đỉnh. "HDFS" là hệ thống tệp phân tán, chỉ lưu dữ liệu chứ không xử lý đồ thị. "Storm" là hệ xử lý luồng thời gian thực, xử lý từng sự kiện khi nó đến, không thiết kế cho thuật toán lặp trên đồ thị.

Đáp án đúng: "Spark Context". collect là một action trong Spark: nó buộc thực thi chuỗi transformation rồi gom toàn bộ phần tử của RDD từ mọi phân vùng trên các worker node về chương trình driver, nơi SparkContext đang chạy, thành một danh sách trong bộ nhớ; vì thế chỉ nên gọi collect khi kết quả đủ nhỏ. "Other Worker Nodes" sai vì dữ liệu chỉ trao đổi giữa các worker khi có shuffle trong các phép như reduceByKey, còn collect đưa dữ liệu về driver. "Spark Streaming" là thư viện xử lý luồng, không phải đích nhận dữ liệu của collect. "None; Stays in the Same Node" sai vì đó là hành vi của transformation hay persist, còn collect bản chất là chuyển dữ liệu về driver. "Spark SQL" là thư viện xử lý dữ liệu có cấu trúc bằng DataFrame và SQL, cũng không phải nơi nhận dữ liệu.

Đáp án đúng: "Hadoop Distributed File System". HDFS là hệ thống tệp phân tán của Hadoop, tầng lưu trữ của cả hệ sinh thái: tệp lớn được chia thành các khối (mặc định 128 MB từ Hadoop 2), mỗi khối được nhân bản ra nhiều DataNode, thường là ba bản, còn NameNode giữ siêu dữ liệu về vị trí các khối; nhờ vậy dữ liệu chịu được hỏng máy và được đọc song song. "Hadoop File Distribution System" đảo trật tự chữ, gợi ý một hệ thống phân phát tệp chứ không phải hệ thống tệp phân tán. "Hadoop File Data System" bỏ mất chữ Distributed, vốn là đặc trưng quan trọng nhất của HDFS. "Hadoop Digital File Store" là tên không tồn tại, vì HDFS không phải một kho tệp số mà là hệ thống tệp trải trên nhiều máy.

Đáp án đúng: "Extracting the true value of a data item.". Trong tích hợp dữ liệu lớn, nhiều nguồn có thể đưa ra giá trị khác nhau cho cùng một mục dữ liệu, chẳng hạn giờ bay của một chuyến hay địa chỉ của một cửa hàng; data fusion (hợp nhất dữ liệu) là quá trình giải quyết mâu thuẫn đó để xác định giá trị đúng nhất, thường bằng bỏ phiếu có trọng số theo độ tin cậy của nguồn. "Extracting a global value from a data source." nói về việc lấy một giá trị tổng hợp toàn cục như tổng hay trung bình, đó là phép gộp (aggregation) chứ không phải hợp nhất các giá trị mâu thuẫn. "Extracting true sources from a data source." lẫn sang việc đánh giá nguồn nào đáng tin, đây chỉ là bước phụ trợ cho fusion chứ không phải mục tiêu của nó. "Another term for customer analytics." sai vì phân tích khách hàng là một ứng dụng nghiệp vụ, không đồng nghĩa với hợp nhất dữ liệu.

Đáp án đúng: "Kafka". Apache Kafka là nền tảng truyền thông điệp phân tán theo mô hình publish subscribe: dữ liệu như log, sự kiện được ghi vào các topic chia thành nhiều phân vùng (partition) trên nhiều broker, mỗi phân vùng được sao chép sang broker khác, nên vừa mở rộng ngang được vừa chịu lỗi khi một máy hỏng, và nhiều hệ thống có thể cùng đọc một dòng dữ liệu. "Hive" là kho dữ liệu trên Hadoop để truy vấn dữ liệu đã lưu bằng HiveQL, không vận chuyển log. "Pig" là nền tảng xử lý dữ liệu bằng ngôn ngữ kịch bản Pig Latin, biến đổi dữ liệu đã nằm trong HDFS. "HBase" là cơ sở dữ liệu NoSQL dạng cột trên HDFS cho đọc ghi ngẫu nhiên theo khoá, là nơi lưu chứ không phải kênh chuyển dữ liệu.

Đáp án đúng: "Complex Data Exploration Algorithms". Valence (độ liên kết) đo mức độ các phần tử dữ liệu nối với nhau, tức tỉ lệ kết nối thực có trên số kết nối có thể có; khi valence cao, đồ thị dày đặc, số đường đi và quan hệ gián tiếp bùng nổ, nên thuật toán khám phá như tìm cộng đồng, tìm đường hay phát hiện mẫu trở nên phức tạp và tốn kém. "Difficult to Integrate" là thách thức điển hình của Variety, khi dữ liệu đến từ nhiều nguồn với định dạng và lược đồ khác nhau. "Reliability of Data" là vấn đề của Veracity, liên quan tới độ chính xác và độ tin cậy của dữ liệu chứ không phải mật độ kết nối. "Difficult reliability" chỉ diễn đạt lại cùng ý về độ tin cậy, cũng thuộc Veracity, không xuất phát từ việc dữ liệu có valence cao.

Đáp án đúng: "Driver Program". Trong kiến trúc Spark, Driver Program là tiến trình chạy hàm main của ứng dụng và tạo SparkContext (hay SparkSession); chính tại đây RDD được tạo ra, chẳng hạn qua sc.textFile hay sc.parallelize, các phép biến đổi được ghi lại thành đồ thị DAG, rồi driver chia DAG thành stage và task gửi tới cụm. "Local CPU" sai vì CPU chỉ là phần cứng thực thi lệnh, không phải thành phần của Spark quản lý việc tạo RDD. "Storage" sai vì kho lưu trữ như HDFS hay S3 chỉ chứa dữ liệu nguồn mà RDD đọc vào, bản thân nó không định nghĩa RDD. "Spark Executor" sai vì executor là tiến trình trên các nút worker, nhận task từ driver để tính toán trên từng phân vùng và lưu đệm dữ liệu, tức thực thi trên RDD chứ không khởi tạo RDD.

Đáp án đúng: "Combining streams of data and analyzing them for new insights.". Giá trị thực của dữ liệu lớn không nằm ở từng nguồn riêng lẻ mà sinh ra khi kết hợp nhiều dòng dữ liệu khác nhau, ví dụ vị trí, giao dịch và mạng xã hội, rồi phân tích chúng để thấy những quy luật mà không nguồn nào cho thấy một mình. Đây là chỗ dễ tranh cãi: "Having data-enabled decisions and actions from the insights of new data." được một số tài liệu ôn tập ghi là đáp án và hai ý rất gần nhau, nhưng nó mô tả mục đích cuối cùng là ra quyết định và hành động, còn câu hỏi hỏi điều gì tạo ra giá trị, tức chính việc kết hợp và phân tích các dòng dữ liệu để rút ra hiểu biết mà quyết định dựa vào. "Size of the data." sai vì khối lượng lớn tự nó chỉ là chi phí lưu trữ, không tạo giá trị nếu không được phân tích. "Using the three major data sources: Machines, People, and Organizations." chỉ liệt kê ba nguồn dữ liệu; có nguồn mà không kết hợp và phân tích thì vẫn chưa sinh giá trị.

Đáp án đúng: "Low Veracity". Veracity (độ xác thực) đo mức tin cậy của dữ liệu: dữ liệu có chính xác không, có nhiễu, thiên lệch hay bị làm giả không. Trong tình huống, khoảng 90% đánh giá là 5 sao nhưng một nửa trong số đó, tức khoảng 45% tổng số đánh giá, đến từ người không có bằng chứng mua hàng hoặc viết không nghiêm túc; dữ liệu như vậy phản ánh sai mức hài lòng thật nên có độ xác thực thấp. "High Veracity" ngược lại, chỉ đúng khi đánh giá đến từ người mua thật và đáng tin. "Low Volume" nói về khối lượng dữ liệu ít, nhưng tình huống không cho biết số đánh giá nhiều hay ít. "High Volume" có thể đúng với quy mô dữ liệu của Amazon nói chung, nhưng vấn đề tình huống nêu ra là chất lượng của đánh giá chứ không phải số lượng.

Đáp án đúng: "Model overfits". Trong kNN, k là số láng giềng được dùng để bỏ phiếu; khi k quá nhỏ, ví dụ k bằng 1, nhãn của mẫu mới phụ thuộc hoàn toàn vào một điểm gần nhất, nên mô hình bám sát từng điểm huấn luyện kể cả nhiễu và ngoại lệ, đường biên quyết định gồ ghề, đúng gần tuyệt đối trên tập huấn luyện nhưng kém trên dữ liệu mới, đó là quá khớp (overfitting). "Model underfits" là điều xảy ra khi k quá lớn: bỏ phiếu trên quá nhiều điểm làm biên quá trơn, lớp đông áp đảo, mô hình bỏ qua cấu trúc cục bộ. "Clusters become clear" sai vì kNN là thuật toán phân loại có giám sát, không tạo cụm, và k nhỏ còn làm kết quả nhiễu hơn chứ không rõ hơn. "No classification is made" sai vì với k nhỏ nhất bằng 1 thuật toán vẫn luôn gán được nhãn cho mẫu mới.

Đáp án đúng: "Foundations stand the test of time.". Công cụ dữ liệu lớn thay đổi rất nhanh, như MapReduce dần nhường chỗ cho Spark, nền tảng và phiên bản mới xuất hiện liên tục, nhưng kiến thức nền như các chữ V của dữ liệu lớn, mô hình dữ liệu, xử lý phân tán, chịu lỗi, đánh đổi giữa nhất quán và sẵn sàng vẫn giữ giá trị lâu dài; nắm vững chúng giúp người học tiếp cận được bất kỳ công cụ mới nào. "Foundations allow for the understanding of practical concepts in Hadoop." không sai hẳn nhưng quá hẹp, vì giá trị của kiến thức nền không gói trong một công cụ cụ thể như Hadoop. "Foundations help you revisit calculus concepts required in the understanding of big data." sai vì nền tảng dữ liệu lớn nói về khái niệm hệ thống và dữ liệu, không phải ôn lại giải tích. "Foundations is all that is required to show a mastery of big data concepts." sai vì kiến thức nền là điều kiện cần chứ chưa đủ; thành thạo còn đòi hỏi thực hành với công cụ và dữ liệu thật.

Đáp án đúng: "It hides poor minority class performance". Với dữ liệu mất cân bằng lớp, accuracy (độ chính xác tổng) bị lớp đa số chi phối: nếu 95 trong 100 mẫu là âm tính, một mô hình đoán mọi mẫu đều âm tính vẫn đạt accuracy 95% dù không nhận ra được mẫu dương tính nào, recall của lớp thiểu số bằng 0. Vì thế cần xem thêm precision, recall, F1 hay ma trận nhầm lẫn. "It increases bias" sai vì accuracy chỉ là thước đo, nó không làm thay đổi mô hình hay độ chệch của mô hình. "It depends on labels" đúng là accuracy cần nhãn thật, nhưng mọi thước đo của học có giám sát đều thế nên đó không phải hạn chế riêng với dữ liệu mất cân bằng. "It works only with numeric targets" sai vì accuracy được dùng chính cho mục tiêu dạng nhãn phân lớp, còn mục tiêu số thì dùng sai số như MSE.

Đáp án đúng: "All of the above". Apache Spark được viết bằng Scala và chạy trên máy ảo Java, nên cung cấp API chính thức cho Scala và Java; ngoài ra có PySpark cho Python và SparkR cho R, cùng Spark SQL cho truy vấn kiểu SQL. Nhờ hỗ trợ nhiều ngôn ngữ, nhà khoa học dữ liệu quen Python vẫn khai thác được sức mạnh xử lý phân tán. "Java" đúng nhưng chưa đủ, vì Spark không chỉ hỗ trợ Java. "Python" cũng được hỗ trợ qua PySpark, nhưng chọn riêng nó bỏ sót các ngôn ngữ khác. "Scala" là ngôn ngữ gốc của Spark, song chọn mỗi Scala vẫn thiếu Java và Python. Vì cả ba ngôn ngữ đều được hỗ trợ nên chỉ đáp án gộp mới đầy đủ.

Đáp án đúng: "Understand Nature of Data and Preliminary Analysis.". Bước chuẩn bị dữ liệu trong quy trình khoa học dữ liệu có hai phần: khám phá dữ liệu, tức là tìm hiểu bản chất của dữ liệu và phân tích sơ bộ bằng thống kê mô tả, biểu đồ, tìm tương quan, xu hướng và ngoại lệ; rồi tiền xử lý như làm sạch, xử lý thiếu, biến đổi. "Identify Data Sets and Query Data" thuộc bước thu thập (Acquire), là xác định nguồn và truy vấn lấy dữ liệu về, diễn ra trước khi chuẩn bị. "Retrieve Data" cũng là hoạt động của bước thu thập, chỉ kéo dữ liệu về chứ chưa tìm hiểu hay xử lý nó. "Build Models" thuộc bước phân tích (Analyze), là chọn kỹ thuật và dựng mô hình trên dữ liệu đã được chuẩn bị xong, nên đến sau bước chuẩn bị.

Đáp án đúng: "Data science requires a variety of expertise in different fields.". Một dự án khoa học dữ liệu cần nhiều năng lực cùng lúc: hiểu biết nghiệp vụ để đặt đúng câu hỏi, thống kê và học máy để xây mô hình, kỹ thuật dữ liệu và lập trình để thu thập, xử lý trên hạ tầng dữ liệu lớn, cùng kỹ năng trình bày để truyền đạt kết quả; hiếm có một người giỏi đủ mọi mảng nên cần làm việc nhóm liên ngành. "Exhibition of curiosity is required." là phẩm chất cá nhân mà nhà khoa học dữ liệu nên có, một người đơn lẻ cũng tò mò được nên không giải thích nhu cầu làm theo nhóm. "Analytic solutions are required." chỉ nói dự án cần lời giải phân tích, không cho thấy vì sao phải nhiều người. "Engineering solutions are preferred." sai vì dự án không ưu tiên riêng giải pháp kỹ thuật; kỹ thuật chỉ là một trong nhiều mảng chuyên môn cần phối hợp.

Đáp án đúng: "Categories". Classification (phân lớp) là bài toán học có giám sát mà biến mục tiêu là nhãn rời rạc, ví dụ thư rác hay không, loại hoa nào, khách hàng có rời bỏ hay không; mô hình học từ dữ liệu có nhãn để gán một lớp cho mẫu mới. "Numeric values" là đầu ra của regression (hồi quy), bài toán dự đoán giá trị liên tục như giá nhà hay nhiệt độ. "Similarity scores" thuộc về các bài toán đo khoảng cách hoặc độ tương đồng, như phân cụm hay hệ gợi ý, không phải đầu ra của mô hình phân lớp. "Probabilities only" sai vì chữ only: nhiều bộ phân lớp như hồi quy logistic quả có tính xác suất thuộc từng lớp, nhưng xác suất chỉ là bước trung gian, sau khi so với ngưỡng mô hình vẫn đưa ra nhãn lớp.