如何在集群上运行spark作业时远程了解如何

Question

我在ec2集群上运行spark工作，我有一个定期提交作业的触发器。如果一个作业已在群集上运行，我不想提交作业。有没有api可以给我这个信息？

Answer 1

Spark，通过扩展，Spark Streaming在http://<host>:4040/api/v1

提供了一个可操作的REST API

咨询当前申请的状态将为您提供所需的信息。

查看文档：{​​{3}}

Answer 2

您可以查阅用户界面以查看状态 例如。 如果您在本地运行，请查看localhost：4040