使用MapReduce查找2个大型排序数组的交集

Question

如何使用MapReduce

找到2个大型排序数组的交集

Answer 1

我不认为MapReduce是正确的工具;由于您的数组已经排序，您可以执行相当于合并的操作，除了不是收集所有结果，您只保留那些出现在两个数组中的结果。不错的线性算法。但既然你问过......

MapReduce的Map部分包含一组（键，值）对。因此，给出一对，其中每对对应于一个数组中的元素，其中key是元素的值，以及标识它来自哪个数组的值。然后，reduce会抛出任何没有来自两个数组的值的键。我将把复制作为练习处理。