Sparks工作在多节点纱线集群中挂起

时间:2017-08-04 07:56:09

标签: hadoop apache-spark spark-streaming yarn

我已经设置了多节点纱线群集

节点-1:Datanode和master 节点2:Datanode

当我提交我的工作时,在Node-1上启动第一个容器时工作正常,但是当第一个容器在node-2上启动时,工作仍处于接受状态。为什么会发生这种情况

在纱线网上,我可以看到两个节点都已注册

1 个答案:

答案 0 :(得分:0)

很可能缺少在群集上运行作业所需的可用资源。要验证它,请检查单个作业的总体资源(核心,RAM)和所需/已用资源。 第二个工作完成后,第二个能够改变状态。