Hadoop中的I / O设置

时间:2013-11-22 10:48:55

标签: java hadoop

我知道我们必须使用:

job.setMapperClass()
job.setReducerClass()
job.setMapOutputKeyClass()
job.setMapOutputValueClass()
job.setOuputKeyClass()
job.setOutputKeyValueClass()

避免Java泛型中的类型擦除问题。但我多次看到人们并没有使用所有这些方法。有些会跳过setOuputKey/ValueClass(),有些会跳过setOutputKey/ValueClass

为什么?我们不一定要设置所有这些方法吗?

1 个答案:

答案 0 :(得分:0)

如果map和reduce类输出相同的Key / Value类型,则只需设置OutputKeyClass和OutputValueClass(假设MapOutputKeyClass和MapOutputValueClass与reducer相同,除非明确设置)。

如果你没有设置Mapper或Reducer类,hadoop假设默认是使用所谓的识别映射器或reducer - 它们输出它们接收的每个输入K,V对(或者特定键的所有值)减速机的情况。)

相关问题