限制Hadoop 2.6.0中的并发映射任务数

Question

我想限制在一个从节点上运行的同时映射任务的数量。

在我的情况下，当我提交我的工作时，Hadoop会生成8个地图任务，当我在端口19888查看作业历史UI时，我总是看到8个地图任务同时在同一个从属节点上启动。

即使我尝试将此属性设置为mapreduce.tasktracker.map.tasks.maximum等于4（来自how to restrict the concurrent running map tasks?）。它仍然不适合我。

有没有人有实验来处理这个问题？

Answer 1

对于hadoop 2.6它应该是更新的API - see this mapred-default.xml

将mapreduce.tasktracker.map.tasks.maximum设为4

  

任务跟踪器将同时运行的最大映射任务数。