Hadoop：如何将任务统一分配给所有节点

Question

我想将任务统一分配给所有节点。有没有办法控制这个？

Answer 1

地图任务将放在最接近输入数据的空闲任务跟踪器上。

优先事项是：

1. 同一台机器
2. 同样的架子
3. 其他

在大多数情况下，您不必担心自己的平衡问题。

Answer 2

你无法控制：

• 执行map和reduce任务
• 当map和reduce任务开始或结束时
• 地图任务或减少任务处理的键和值

但是，你可以控制：

• reduce任务处理的密钥及reduce发生的顺序（使用partiotioner）

总而言之，您无法仅平衡地图任务，但减少任务由框架

平衡