什么Hadoop配置必须在Master和Slave节点上进行?

时间:2013-09-14 18:37:02

标签: java hadoop

我们是否必须修改hadoop集群的主节点和从属节点上的mapred-site.xml以获取参数,例如最大映射数和减少要并行执行的任务,或者只修改主节点上的配置更改就足够了。

在mapred-site.xml中对主节点上的mapred.map.child.java.opts和mapred.reduce.child.java.opts等参数进行的更改是否也会在客户端节点进行更改?或者我们都做到了。

我们是否必须在主节点和客户端节点上指定dfs.block.size以使块大小不同于默认值?

如果没有,那么必须在主节点和客户端节点都指定参数来优化hadoop集群?

1 个答案:

答案 0 :(得分:1)

您需要在所有计算机上更改所有配置文件 conf / * - site.xml 。原因是,Hadoop没有配置信息的单一全局位置。相反,群集中的每个Hadoop节点都有自己的一组配置文件,我们有责任确保它们在整个系统中保持同步。

相关问题