Question

在许多手册中，都有使用hadoop shellscript向Hadoop提交作业的说明，该文件位于Hadoop发行版中。我可以看到，这意味着在客户端主机上安装整个Hadoop生态系统，在站点设置中配置主节点等。

如果没有在客户端安装Hadoop，还有其他方法可以提交作业吗？

Answer 1

Hadoop不会阻止我们从远程客户端提交我们的工作，而无需在其上安装Hadoop。共享同一网络的任何计算机都可用于提交作业。客户没有比提交作业更多的事情，然后等到工作完成。

也就是说，有几种方法可以做到这一点。一种方法是直接通过IDE运行代码，例如Eclipse。但是，您需要将IDE指向群集，

conf.set("fs.default.name", "hdfs://NN_HOST:9000");
conf.set("mapred.job.tracker", "JT_HOST:9001");

另一种方法是创建一个包含所有必需二进制文件的胖jar。将jar复制到JT机器并在那里运行。

您可以找到更多here和here。