如何处理减少任务的不平衡输入？

Question

最近我被问到如何处理reduce任务的不平衡输入。我想了一会儿，并尝试重新分配数据，但没有找到一个好的解决方案。有什么建议吗？

Answer 1

实际上你有2种方法。

1. 增加减少的数量，以便您的数据可以更好地传播任务
2. 重写分区程序，以便更好地分配任务上的密钥。 [1]

[1] http://hadoop.apache.org/common/docs/r0.20.2/api/org/apache/hadoop/mapreduce/Partitioner.html