有没有办法限制mapreduce作业产生的行数

时间:2020-07-14 19:30:47

标签: java mapreduce

我有一个仅地图端(0个减缩器)的MapReduce作业,有没有办法限制它产生多少行?解决方案是近似的也可以(即输出的结果比预期的多一点或少一点)

我正在寻找MapReduce的

cat filename | $UNIXEY_THINGS | head -10000000

我考虑过为每个映射器设置一个限制(将$ NUM_ROWS除以$ NUM_MAPPERS),但这意味着我必须设置映射器的数量,而我的研究表明这是不可能的。将其管道连接到单个减速器中似乎并不起作用。

似乎进程之间的大量协调使这成为不可能,或者至少在没有大的性能损失的情况下这是不可能的。我说得对吗?

0 个答案:

没有答案
相关问题