使用运行对话框在Eclipse中的远程集群上启动Hadoop Map Reduce Job（F11）

Question

是否可以使用Eclipse 运行对话框（F11）在远程集群上启动Map Reduce作业？

目前我必须使用外部工具链对话框和Maven运行它。

注意：要在本地群集上执行它与运行对话框没什么关系。但是对于远程连接，必须有一个已编译的JAR。否则，您会收到ClassNotFoundException（如果设置了Jar-By-Class

）

我们目前的设置是：

• Spring-Data-Hadoop 1.0.0
• STS - Springsource Toolsuite
• 的Maven
• CDH4

我们设置applicationContext.xml（这是您在vanilla hadoop上的* -site.xml中指定的内容）

 <hdp:configuration id="hadoopConfiguration">
    fs.defaultFS=hdfs://carolin.ixcloud.net:8020
    mapred.job.tracker=michaela.ixcloud.net:8021
</hdp:configuration>

有没有办法告诉Eclipse它应该在运行对话框执行时构建一个JAR。

Answer 1

我不知道它是否构建了一个新jar（可能你必须将jar提取到一个文件夹），添加“Run Configurations-＆gt; Classpath”你的jar清除问题“ClassNotFoundException”。