计算工作集的步骤是什么？

Question

如果我拥有Mongo DB上的一百万条记录，并且每条记录的大小为5 KB。让我们说我想对这些数据运行Map-Reduce并想要估算这个应用程序所需的RAM。在map-reduce操作期间，此DB上不会有读取或写入。 map-reduce将聚合一些记录并对聚合记录进行逻辑比较。

我想了解map-reduce如何将数据带入RAM，因此应该如何计算工作集（例如：我应该假设1 MM x 5 Kb将是我的工作集）。

Answer 1

据我了解，Map-Reduce作业的工作集将是您将运行map（）函数的整个数据集。例如，如果您的数据是1M对象，并且map（）函数查看每个文档，那么工作集将是1M x 5K。如果您使用数据的某个子集（比如500K对象）来提供map（）函数，那么它将是500K x 5K。在任何一种情况下，您都必须包括任何预定义索引的大小。