如何设置Spark应用程序退出状态?

时间:2017-01-31 15:24:37

标签: apache-spark yarn exit-code spark-submit

我正在编写一个spark应用程序并使用spark-submit shell脚本运行它(使用yarn-cluster / yarn-client)

正如我现在看到的,火花提交的退出代码是根据相关纱线申请决定的 - 如果成功状态为0,否则为1。

我希望能够选择返回另一个退出代码 - 对于我的应用程序成功发生错误的状态。

有可能吗?从应用程序返回不同的退出代码?

我尝试使用System.exit()但没有成功......

感谢。

2 个答案:

答案 0 :(得分:0)

可以在客户端模式下使用,但不能在群集模式下使用。您有群集模式的解决方法。

我对此question的回答可以帮到你。

答案 1 :(得分:0)

如果您在集群模式下运行,spark-submit将立即结束,返回提交ID作为json的一部分,并且不等待应用程序状态。之后,您可以通过以下方式查询状态

 spark-submit --status [submission ID] 

如果以本地或独立模式运行,则应该能够从spark-submit进程中获取退出代码。