一缩图的推测执行减少工作

时间:2018-08-31 06:11:50

标签: hadoop mapreduce

似乎只有一个化简器时,hadoop不会让唯一的化简器任务通过推测执行来运行。无论如何,有没有启用它的配置?

我可能只做一个减速器工作的背景是,对于某些工作,减速器的数量似乎无法控制。例如,当我在hbase bulkload作业中使用HFileOutputFormat时,reducers的数量由它自己设置。有时,所选节点确实很慢,并且即使只有一个化简器也可以对其启用推测执行,效果会更好。

0 个答案:

没有答案