Hadoop配置

时间:2013-08-29 11:22:02

标签: hadoop

我已经开始为单个节点配置Hadoop 2.1.0-beta版本。我按照Michael Noll的教程(http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/#configuring-single-node-clusters-first)中提到的步骤进行操作。我所做的每一件事都很好。作为JPS的结果,我得到了NameNode,DataNode,Secondary NameNode正常启动。然后我发现没有start-mapred.sh脚本。所以我尝试使用hadoop-daemons.sh(hadoop-daemon.sh --config / home / nayan / dev / hadoop / etc / hadoop / start jobtracker)启动jobtracker,导致失败并显示消息“抱歉,jobtracker命令不再支持。您可以在“yarn”shell命令中找到类似的功能。“我不知道我需要做什么配置更改(如果有的话)。我在“yarn-site.xml”文件中进行了更改,如Hadoop:The Definitive Guide中所述。但无法继续下去。哪里可以找到关于纱线的信息。我查了一下Apache网站,但无法弄明白。

7 个答案:

答案 0 :(得分:1)

您需要检查配置xml文件。有时如果你在xml中有任何问题,那么一些守护进程就不会启动。 并尝试使用./start-all.sh然后使用JPS

答案 1 :(得分:0)

您可以使用start-yarn.sh来启动ResourceManger和Jobtracker守护进程

答案 2 :(得分:0)

我通常使用这两个命令开始一切

./start-dfs.sh
./start-yarn.sh

答案 3 :(得分:0)

你应该使用start-dfs.sh用于Hdfs守护进程,start-yarn.sh用于资源管理器和nodemanager守护进程都在hadoop的/ bin中。

答案 4 :(得分:0)

./ start-dfs.sh 或start-dfs.sh只会启动HDFS组件,而 ./start-yarn.sh 或start-yarn.sh将启动Yarn组件,如NodeManager,资源管理器等。如果您不想单独启动这两个组件,请尝试使用此命令:

./ start-all.sh 或start-all.sh(不过这是不推荐使用的命令)。

要回答您的问题,请使用 ./ start-yarn.sh

干杯!

答案 5 :(得分:0)

首先必须在YARN(HADOOP 2.x)环境中启动纱线守护进程。

从这开始吧 at / hadoop_installed_pa​​th / sbin $ ./start-yarn.sh

一旦纱线守护进程开始,我们就可以启动df守护进程了 at / hadoop_installed_pa​​th / sbin $ ./start-dfs.sh

答案 6 :(得分:0)

1.您应该检查Hadoop中的所有步骤最终指南。

如果它比使用start-all.sh更合适 而不是运行jps。

2.有些时候您必须关闭控制台以反映您的更改。然后关闭控制台并再次重新打开它,然后尝试使用jps,

希望这会有所帮助。