好的MapReduce示例

Question

除了“如何用MapReduce计算长文本中的单词”任务之外，我想不出任何好的例子。我发现这不是给别人一个关于这个工具有多强大的印象的最佳例子。

我不是在寻找代码片段，实际上只是“文本”示例。

Answer 1

One of the best examples of Hadoop-like MapReduce implementation

请记住，它们仅限于基于键值的MapReduce创意实现（因此它们在适用性方面受到限制）。

Answer 2

您可以在MapReduce中执行的一组熟悉的操作是一组常规SQL操作：SELECT，SELECT WHERE，GROUP BY等。

另一个很好的例子是矩阵乘法，你传递一行M和整个向量x并计算一个M * x的元素。

Answer 3

我不时向人们介绍MR概念。我发现人们熟悉处理任务，然后将它们映射到MR范例。

通常我会做两件事：

1. 分组依据/聚合。这里改组阶段的优势很明显。关于shuffling的解释也是分布式排序+分布式排序算法的解释也有帮助。

2. 加入两张桌子。使用DB的人员熟悉这个概念及其可扩展性问题。展示如何在MR中完成。