即使我更改为5个映射器和2个缩减器，也只有一个映射器和缩减器正在运行

Question

我是Hadoop的新用户，我已经设置了一个带有Hadoop 2.5.1版本的多节点Hadoop。 当我使用命令

运行mapreduce作业时

hadoop jar jarFile <ClassName> <InputFile> <outputDirectory> -D mapreduce.job.reduces=2 mapreduce.job.maps=5

但是当我看到输出时，我看到只有一个映射器和一个减速器在运行。

我发现Hadoop 2.5.1

中没有map slot和reducer slot的概念

我的文件大小为78MB。那么原因是因为我的文件大小相当少，而且块非常低，所以只有一个映射器在运行？

这对我来说很有帮助。

谢谢＆amp;问候， 斯利拉塔克。

Answer 1

那是因为块的默认大小是128MB，因此大小为78M的文件永远不会被分割成多个块。请参阅this，其中默认块大小为128.

如果你想看到两个mapper，那么在$ HADOOP_HOME / conf / hdfs-site.xml中添加以下行

<property>
   <name>dfs.blocksize</name>
   <value>64M</value>
</property>