Hadoop基础：映射任务的数量mappers减少任务reducers

Question

映射器和地图任务有什么区别？ 同样，还原剂和减少任务？ 此外，在执行mapreduce任务期间，如何确定映射器，maptasks，reducer，reduceasasks的数量？ 如果有的话，给出它们之间的相互关系。

Answer 1

简单地映射任务是Mapper的一个实例。 Mapper和reducer是mapreduce作业中的方法。

当我们运行mapreduce作业时，生成的地图任务数量取决于输入中的数字块（块数取决于输入拆分）。但是，可以在mapreduce驱动程序代码中指定reduce任务的数量。可以通过在作业配置对象中设置属性mapred.reduce.tasks来指定它，也可以使用org.apache.hadoop.mapreduce.Job#setNumReduceTasks(int reducerCount);方法。

在旧的JobConf API中setNumMapTasks()方法就在那里。但是在新的API setNumMapTasks()中删除了org.apache.hadoop.mapreduce.Job方法，并且应根据输入拆分计算映射器数量的内涵。