运行java spark job有时会在初始化spark上下文时出现消息错误，然后错误无法在已停止的spark上下文中调用方法

Question

在spark集群上运行spark程序时，我收到消息说错误初始化spark上下文后跟错误说不能在停止的spark上下文中调用方法。有时在运行相同的作业时，它会成功运行而不会出错。

这不会永远发生。有时候工作运行正常，而在其他时候，它给出了上述信息。我尝试使用命令./stop-all.sh和./start-all.sh重启spark。我试着检查它说成功启动火花的日志。这个偶然的错误消息可能是什么问题。它可能与磁盘空间或任何其他原因有关吗？

谢谢......

Answer 1

由于节点中的磁盘空间已满，似乎已发生此问题。我现在没有得到这个错误。清理不需要的文件似乎解决了它的问题。