公平的调度程序真的对内存配置有影响吗？

Question

我们有一个配置了公平调度程序的hadoop集群。我们曾经看到集群中没有要运行的作业的情况，正在运行的作业试图占用尽可能多的可用内存和核心。

使用Fair调度程序，执行者的内存和内核对于乔布斯来说真的很重要吗？还是取决于公平的调度程序来决定要付出多少？

Answer 1

Fair Scheduler的政策是分配给它的第一份工作将提供所有资源。

当我们运行第二个作业时，所有资源将分为（可用资源）/（作业数量）

现在要重点关注的是，您为运行作业而指定的最大容器内存数量。如果它等于可用资源的总数，那么您的工作就可以使用所有资源。