我的Spark Streaming作业失败,出现以下异常
诊断:容器正在运行,超出了物理内存限制。 当前使用情况:已使用1.5 GB物理内存中的1.5 GB; 3.6 GB的3.1 GB 使用的虚拟内存。杀死容器。
这是我的spark提交命令
spark2-submit \
--name App name \
--class Class name \
--master yarn \
--deploy-mode cluster \
--queue Queue name \
--num-executors 5 --executor-cores 3 --executor-memory 5G \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.locality.wait=10 \
--conf spark.task.maxFailures=8 \
--conf spark.ui.killEnabled=false \
--conf spark.logConf=true \
--conf spark.yarn.driver.memoryOverhead=512 \
--conf spark.yarn.executor.memoryOverhead=2048 \
--conf spark.yarn.max.executor.failures=40 \
jar path
我不确定是什么原因导致了上述问题。我是否在上面的命令中丢失了某些内容?还是由于我未在spark提交命令中设置-driver-memory 而失败?