What does the --executor-memory option specify in the spark-submit command?
4 phương ánCó giải thích
Các phương án trả lời
Chọn một phương ánLời giảiChọn phương án để mở
Đáp án đúng: "The amount of memory allocated to each executor". Trong Spark, driver là tiến trình điều phối chạy hàm main và lập kế hoạch công việc, còn executor là các tiến trình trên những nút làm việc thực thi task và giữ dữ liệu cache. Tùy chọn --executor-memory của spark-submit đặt lượng bộ nhớ heap cho mỗi executor, ví dụ 4g nghĩa là từng executor được 4 GB. "The amount of memory allocated to the driver" là vai trò của tùy chọn khác, --driver-memory. "The total memory for the Spark application" sai vì tổng bộ nhớ phụ thuộc vào số executor nhân với bộ nhớ mỗi executor cộng phần của driver, không có một tham số này đặt trọn. "The memory required for the script" sai vì Spark không cấp bộ nhớ theo tệp script; mã được phân tán ra các executor và bộ nhớ được cấp theo tiến trình.
Cùng phần 5
In the script example-spark-submit.sh, what does the #!/bin/bash line indicate?Có lời giảiCâu hỏiWhen you worked on model deployment case study, which modification to the ALS algorithm had the largest effect on model performance?Có lời giảiCâu hỏiDocker containers run a private file system that is isolated from the host and other containers. What is the suggested way to access notebooks and scripts from within the container?Có lời giảiCâu hỏiCả 25 câu của chủ đề25 câu