apache Spark中的调度和资源分配

时间:2014-07-16 16:32:47

标签: apache-spark resource-scheduling

我试图了解资源分配如何在spark中发生。一世 了解taskScheduler中的resourceOffer方法。这种方法需要 在分配资源时注意地方因素。这个资源提供者 方法由相应的集群管理器调用。

我正在研究独立的火花星团。但我无法找到 资源分配的起点。我想从头到尾理解 给出一个新的应用程序,结束资源分配究竟是如何发生的 火花。此外,除了mesos之外,还有一个名为Local的文件夹 调度。有人可以告诉我应该查看哪些文件 了解独立火花集群中的资源分配以及它是什么 这个“本地”是为了什么?

提前致谢!! KARTHIK。

0 个答案:

没有答案