运行Hadoop Map-Reduce作业

时间:2015-07-15 05:30:45

标签: java maven hadoop mapreduce

我是Hadoop的新手,我正在尝试在我最近安装在桌面上的单个节点群集上运行字数统计工作。我遵循以下教程:

http://javabeginnerstutorial.com/hadoop/your-first-hadoop-map-reduce-job/

目前我被困在第3步,并在尝试运行时收到错误:

〜/ development / Hadoop_projects / word_count $ mvn clean install

我得到的错误是:

错误:未正确定义JAVA_HOME。   我们不能执行usr / lib / jvm / java-7-openjdk-amd64 / bin / java

我认为我正确安装了maven,但不知道。我在ubuntu 14.04上运行这个,关于如何处理java主路径的任何想法,或者是否还有另一个问题在这里?

通过修复JAVA_HOME路径修复了上述错误,但是现在运行mvn clean install后出现以下错误:

hduser@venus:~/development/Hadoop_projects/word_count$ mvn clean install
[INFO] Scanning for projects...
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 0.088s
[INFO] Finished at: Tue Jul 14 23:07:21 PDT 2015
[INFO] Final Memory: 5M/240M
[INFO] ------------------------------------------------------------------------
[ERROR] The goal you specified requires a project to execute but there is no POM in this directory (/home/hduser/development/Hadoop_projects/word_count). Please verify you invoked Maven from the correct directory. -> [Help 1]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MissingProjectException

我在word_count文件夹中创建了pom.xml文件,但由于某种原因,在运行mvn时无法识别它。当我ls word_count目录中没有pom.xml时,我可以在Files gui窗口中看到它。

2 个答案:

答案 0 :(得分:1)

有一个很棒的Ask Ubuntu article,它详细解释了如何设置JAVA_HOME环境变量。我在这里申请我在那里找到的解决方案,适合您的特定设置。

在任何编辑器中打开/etc/environment并将以下行添加到文件中:

JAVA_HOME="usr/lib/jvm/java-7-openjdk-amd64/"

请注意,我bin/java附加到路径上,这是错误的。在命令提示符下键入以下内容以加载新的环境变量:

source /etc/environment

最后,通过在命令提示符中键入JAVA_HOME来验证是否正确设置了echo $JAVA_HOME

curl_setopt()

答案 1 :(得分:0)

我认为变量JAVA_HOME没有正确设置。 您应该检查此系统变量的值。 本教程的第一课: http://how-to-program-in-java.com/core-java-tutorial/ 解释了如何设置包含JAVA_HOME变量的java环境。 对于java和Hadoop,java home的设置方式相同。