火花计划：FIFO还是FAIR？

Question

如何选择Spark Scheduler：FIFO还是FAIR？

Spark Scheduler和YARN Scheduler之间有什么不同？

Answer 1

当您使用spark-submit或任何其他方式在群集中提交作业时，将向Spark schedulers提供作业，该For more info负责实现作业的逻辑计划。在火花中我们有两种模式。

1. FIFO

  

默认情况下，Spark的调度程序以FIFO方式运行作业。每份工作都是   分为“阶段”（例如地图和减少阶段）和第一个工作   在其阶段具有任务时，优先考虑所有可用资源   推出，然后第二个工作获得优先权等。如果工作在   队列的头部不需要使用整个集群，以后的工作可以   立即开始运行，但是如果队列头部的工作是   很大，后来的工作可能会大大延迟。

1. FAIR

  

公平调度程序还支持将作业分组到池中并进行设置   每个池的不同调度选项（例如权重）。这可以   对于为更重要的工作创建“高优先级”池非常有用   例如，或将每个用户的作业分组并给予用户   无论他们拥有多少并发工作，均等份额   给予工作平等份额。这种方法是在Hadoop之后建模的   公平日程安排。

     

没有任何干预，新提交的作业将进入默认池，   但可以通过添加spark.scheduler.pool“local”来设置作业池   属性“到提交它们的线程中的SparkContext。   这样做如下：

CONCAT()