Which part of SPARK is in charge of creating RDDs?

4 phương ánCó giải thích

Các phương án trả lời

Chọn một phương án
Lời giảiChọn phương án để mở
Đáp án đúng: "Driver Program". Trong kiến trúc Spark, Driver Program là tiến trình chạy hàm main của ứng dụng và tạo SparkContext (hay SparkSession); chính tại đây RDD được tạo ra, chẳng hạn qua sc.textFile hay sc.parallelize, các phép biến đổi được ghi lại thành đồ thị DAG, rồi driver chia DAG thành stage và task gửi tới cụm. "Local CPU" sai vì CPU chỉ là phần cứng thực thi lệnh, không phải thành phần của Spark quản lý việc tạo RDD. "Storage" sai vì kho lưu trữ như HDFS hay S3 chỉ chứa dữ liệu nguồn mà RDD đọc vào, bản thân nó không định nghĩa RDD. "Spark Executor" sai vì executor là tiến trình trên các nút worker, nhận task từ driver để tính toán trên từng phân vùng và lưu đệm dữ liệu, tức thực thi trên RDD chứ không khởi tạo RDD.

Cùng phần 8

Xuất hiện trong 1 bộ đề