如何在Hadoop流中设置每个节点的最大减速器数量?

时间:2012-04-08 16:48:51

标签: hadoop mapreduce hadoop-streaming

我有一个基于C ++的MapReduce作业,我正在使用Hadoop流。

但是,即使我在命令行配置中将7设置为18,每个节点的最大减速器数最终为mapred.tasktracker.reduce.tasks.maximum=18;

还有什么能阻止减速器发出更多减少任务吗?

1 个答案:

答案 0 :(得分:1)

修改mapred.tasktracker.reduce.tasks.maximum属性后,是否重新启动群集中的任务跟踪器?您应该可以转到Job Tracker web ui页面并确认每个任务跟踪器现在配置了18个减速器插槽