Hadoop Yarn容器配置(CPU,内存......)

时间:2014-06-03 13:48:47

标签: hadoop mapreduce yarn

我刚刚使用Hadoop 2.2.0设置了一个新的Hadoop集群,并在基于Yarn框架的HBase上运行MapReduce作业。

我遇到容器配置问题。一般来说,我们有8个节点,其中一半是具有8核CPU的旧机器,其中一半是具有24核CPU的新机器。我想知道是否可以在新机器中单独配置更多容器而在旧机器中配置更少。通过实际设置,容器数量限制为8个,这意味着每个容器至少有1个核心。尽管如此,我在新机器中留下了资源,但它没有分配给新机器中的更多容器。我们使用公平的调度程序。

由于

1 个答案:

答案 0 :(得分:0)

在配置文件yarn-site.xml中,有一个名为yarn.nodemanager.resource.cpu-vcores的属性,用于定义节点的CPU核心。由于我将此值设置为与旧计算机和新计算机不同,因此在新节点中运行的容器更多。

我再次回答我自己的问题:)