Spark Streaming-诊断:容器运行超出物理内存限制

时间:2019-02-25 18:27:48

标签: apache-spark hadoop spark-streaming yarn apache-spark-2.0

我的Spark Streaming作业失败,出现以下异常

  

诊断:容器正在运行,超出了物理内存限制。   当前使用情况:已使用1.5 GB物理内存中的1.5 GB; 3.6 GB的3.1 GB   使用的虚拟内存。杀死容器。

这是我的spark提交命令

spark2-submit \
--name App name \
--class Class name \
--master yarn \
--deploy-mode cluster \
--queue Queue name \
--num-executors 5 --executor-cores 3 --executor-memory 5G \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.locality.wait=10 \
--conf spark.task.maxFailures=8 \
--conf spark.ui.killEnabled=false \
--conf spark.logConf=true \
--conf spark.yarn.driver.memoryOverhead=512 \
--conf spark.yarn.executor.memoryOverhead=2048 \
--conf spark.yarn.max.executor.failures=40 \
jar path

我不确定是什么原因导致了上述问题。我是否在上面的命令中丢失了某些内容?还是由于我未在spark提交命令中设置-driver-memory 而失败?

0 个答案:

没有答案