如何一次将多个文件发送到单个映射器

时间:2016-02-09 08:33:16

标签: hadoop mapreduce

我的方案是

file1.txt {hi hello} ---> Mapper1 file2.txt {hi ram} ---> Mapper1一次有两个文件来到mapper,输出应该是{hi,2} {hello,1} {ram,1}

1 个答案:

答案 0 :(得分:0)

Hadoop一次只能使用一个hdfs文件。如果超出块大小,则该文件被分成多个块,这实际上是hadoop自己的责任。