可以将spark-submit用作作业调度程序吗？

Question

我有一个Spark独立集群，没有安装其他作业调度程序。我想知道spark-submit是否可以用作火花和非火花作业的作业调度程序（例如，不是为Spark而不是使用RDD编写的scala jar）？

根据我的测试，spark-submit用于提交非Spark作业，并且作业成功运行。但这是我的问题：

1. 以下选项仍然有意义吗？ --driver-cores --driver-memory --executor-memory --total-executor-cores
2. 如果“否”为1，是否意味着spark-submit可以使用FIFO维护火花和非火花作业的队列，但它不管理非火花作业的资源？
3. 如果2为真，我应该使用其他调度程序，例如SGE或LSF，提交非火花工作？

谢谢！

Answer 1

我经过多次测试后想通了。是的，spark standalone可以作为火花和非火花作业的作业调度程序。

1. 但是，对于非火花作业，spark-submit仅创建驱动程序，而不是执行程序。
2. 作业被安排在FIFO队列中，并且队列头部的作业仅在其资源要求时才开始，例如，满足spark-submit命令中指定的核心和内存。