我必须依次运行多个spark作业，所以我正在编写一个shell脚本。我可以做的一种方法是检查输出文件夹中的成功文件以获取作业状态，但是我想知道还有其他方法可以使用运行我的作业的Unix脚本来检查spark-submit作业的状态。
答案 0 :(得分：0)
您可以使用命令
yarn application -status <APPLICATIOM ID>
其中<APPLICATIOM ID>是您的应用程序ID，并检查以下行：
State : RUNNING
这将为您提供应用程序的状态
要检查应用程序列表，可以使用命令通过yarn运行
yarn application --list
您还可以添加-appTypes以根据应用程序类型限制列表