运行Hadoop示例

时间:2013-07-23 14:52:32

标签: java hadoop mapreduce

我对Java很陌生,所以这可能实际上也是一个Java问题,但是我想说我想学习Apache Crunch,所以我读了他们的教程,那里有一个例子: http://blog.cloudera.com/blog/2011/10/introducing-crunch/

现在我想运行这个例子。我需要什么? 我安装了一个本地的hadoop,我有一个。 下一个是什么?我们应该创建一个具有该包名称的Java项目,它只有一个类?

1 个答案:

答案 0 :(得分:1)

如果正确安装了hadoop,请使用:

{path to hadoop install}/bin/hadoop jar {path to hadoop install}/lib/hadoop-exemple.jar wordcount {input file} {output file}

您应首先使用以下命令在hdfs上放置一些文件:

hadoop dfs -copyFromLocal {file to copy} {path on hdfs}

希望有所帮助