我想知道如何设置PySpark程序中使用的核心数。
我一直在做一些搜索,但一直无法找到明确的答案。
答案 0 :(得分:2)
您可以使用--executor-cores使用spark-submit设置它,或者使用sc.setExecutorEnv(key = None,value = None,pairs = None)在它自己的代码中设置它。
答案 1 :(得分:1)
您可以使用--executor-cores
属性指定使用spark-submit提交应用程序时要使用的核心数。
以下是一个例子:
./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1
lib/spark-examples*.jar \
10