模拟地图减少环境

Question

为了设计一些算法，我需要模拟map-reduce环境。我假设我有几个工作，每个工作都包含一组map和reduce任务。我必须假设处理地图的时间并减少任务。 例如，作业“j1”具有3个映射任务和2个减少任务。现在，地图任务的处理时间与减少任务有关吗？通常怎么样？

Answer 1

如果不知道你的地图和减少任务的作用，就很难做出任何假设。地图或减少任务的处理时间完全取决于你想要他们做什么，你不能真正做出一个全面的假设。

例如，您的单个地图功能可能会将单个文件作为输入，或单个行或单个单词处理，所有这些都会直接影响处理时间。

减速机是一样的;它可以做很多处理，一点处理，甚至根本没有处理。 （使用Hadoop的MapReduce实现，您甚至不需要为MapReduce任务设置减速器，这证明了处理量的变化这一事实）。它只取决于个人任务所要求的内容。

如果您知道模拟的MapReduce作业实际上会做什么，您可以使用它来确定不同任务的一般处理时间相互比较。