Question

我正在使用Spark 2.1.1独立群集，

虽然我的群集中有29个免费核心（Cores in use: 80 Total, 51 Used），但在使用--total-executor-cores 16提交新的火花作业时，此配置不生效并且仅提交作业6核......

我错过了什么？（删除检查点没有帮助）

这是我的spark-submit命令：

PYSPARK_PYTHON="/usr/bin/python3.4" 
PYSPARK_DRIVER_PYTHON="/usr/bin/python3.4" \
/opt/spark/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--master spark://XXXX.XXXX:7077  \
--conf "spark.sql.shuffle.partitions=2001" \
--conf "spark.port.maxRetries=200" \
--conf "spark.executorEnv.PYTHONHASHSEED=0" \
--executor-memory 24G \
--total-executor-cores 16 \
--driver-memory 8G \
/home/XXXX/XXXX.py \
--spark_master "spark://XXXX.XXXX:7077" \
--topic "XXXX" \
--broker_list "XXXX" \
--hdfs_prefix "hdfs://XXXX"

Answer 1

我的问题是我从spark（--executor-memory 24G）询问的大量内存 - spark试图找到具有24G空闲内存的工作节点，并且发现只有2个节点，每个节点有3个空闲核心（＆＃39;为什么我只看到6个核心。）

当将内存数量减少到8G时，spark会发现指定的内核数量。

Spark Standalone --total-executor-cores

1 个答案: