设置PySpark脚本中使用的核心数量?

时间:2015-03-16 17:15:50

标签: apache-spark pyspark

我想知道如何设置PySpark程序中使用的核心数。

我一直在做一些搜索,但一直无法找到明确的答案。

2 个答案:

答案 0 :(得分:2)

您可以使用--executor-cores使用spark-submit设置它,或者使用sc.setExecutorEnv(key = None,value = None,pairs = None)在它自己的代码中设置它。

答案 1 :(得分:1)

您可以使用--executor-cores属性指定使用spark-submit提交应用程序时要使用的核心数。

以下是一个例子:

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn-cluster \
    --num-executors 3 \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1
    lib/spark-examples*.jar \
    10