机器学习算法无法应用地图缩减模型

时间:2012-11-21 09:09:06

标签: mapreduce machine-learning

“多核机器学习的Map-Reduce”一文显示了10种机器学习算法,它们可以从map reduce模型中受益。关键点是“任何拟合统计查询模型的算法都可以用一定的”求和形式编写。“,算法可以表示为求和形式,可以应用地图缩减编程模型。

对于那些无法表示为求和形式的算法,并不意味着它们不能应用地图缩减模型。任何人都可以指出任何特定的机器学习算法,它不能通过map reduce模型加速吗?

1 个答案:

答案 0 :(得分:3)

当数据中存在计算依赖性时,MapReduce不起作用。这种限制使得难以表示在结构化模型上运行的算法。

  

因此,当遇到大规模问题时,我们经常抛弃丰富的结构化模型,转而采用适合MapReduce抽象2的过于简单化的方法。

在机器学习社区中,许多算法在学习和推理期间迭代地变换参数,例如,信念传播,期望最大化,梯度下降和吉布斯采样。这些算法迭代地细化一组参数,直到某些终止标准匹配2

如果你在每次迭代中调用MapReduce,是的,我认为你仍然可以加快计算速度。这里的要点是我们需要一个更好的抽象框架,以便可以包含数据的图形结构,表达复杂的调度或自动评估终止。

顺便说一下,Graphlab是由上述原因2推动的替代方案之一。