如何判断spark-submit是否成功运行？

Question

有没有办法判断它是否在没有任何例外情况下运行或完成了工作？我发现的唯一想法是https://github.com/apache/spark/pull/1788

Answer 1

您可以使用Spark RESTful API查询您的申请状态：

1. Spark History Server的基本URL是：http：//：18080 / api / v1
2. 使用/applications
列出应用程序
3. 检查应用程序的状态

如果名称不同，则很容易检查您的应用程序是什么应用程序，即使在共享群集上也是如此。您还可以记录sparkContext.applicationId并直接在调用Web服务

时使用它