是否可以在没有HDFS和Hadoop集群的情况下在本地运行MapReduce?

时间:2014-12-01 23:00:44

标签: hadoop mapreduce hdfs

鉴于我在Windows系统中开发MapReduce任务,在将它们移动到HDFS集群之前,我想在本地运行MapReduce。我只想检查我的mapper逻辑,inputSplits,输入/输出格式等是如何工作的?是否可能?

2 个答案:

答案 0 :(得分:5)

Hadoop以3种模式运行。

1.local mode  
2.psuedo mode  
3.distributed mode. 

您正在寻找的是本地模式。您可以在以2或3种模式运行之前从eclipse调试mapreduce代码 This分步指南以本地模式运行应用程序可以帮助您调试应用程序 希望它有所帮助!

答案 1 :(得分:2)

在Windows中执行和测试Map Reduce代码,我们需要借助cygwin(Windows到Unix模拟器)。

要遵循的步骤: 1.首先安装cywin。 2.设置cygpath环境变量

现在我们可以将本地文件作为MR程序的输入。