Hadoop mapreduce使用2个mapper和1个reducer使用c ++

Question

按照this link上的说明，我使用单个映射器和单个reducer在c ++中实现了一个wordcount程序。现在我需要使用两个映射器和一个减速器来解决同样的问题。

在这方面，有人可以帮助我吗？

Answer 1

映射器的数量取决于创建的输入拆分的数量。输入拆分的数量取决于输入的大小，块的大小，输入文件的数量（每个输入文件至少创建一个输入拆分），输入文件是否可拆分等。另请参阅{ {3}}

您可以根据需要设置减速器的数量。我想在hadoop管道中你可以通过在运行hadoop时设置-D mapred.reduce.tasks=...来实现这一点。请参阅this post in SO。

如果您想快速测试程序如何与多个映射器配合使用，您只需在输入路径中添加一个新文件即可。这将使hadoop创建另一个输入拆分，从而创建另一个map任务。

PS：您提供的链接无法访问。