在Ubuntu Linux(多节点丛集)上执行Hadoop

时间:2018-09-13 18:16:26

标签: linux hadoop mapreduce hdfs

我已经在2个集群上实现了hadoop,但是我无法运行TaskTracker&DataNode和jobTracker,因此我无法在hdfs上运行copyFromLocal命令。我使用hadoop 2.6.5。在运行start-all.sh之后运行jps命令命令:(在主机上)

ResourceManager
NameNode
jps
JobHistoryServer
NodeManager

然后我运行jps命令:(在从属服务器上)

jps
NodeManager

有人可以帮助我运行TaskTracker和DataNode和jobTracker吗?

1 个答案:

答案 0 :(得分:1)

  

TaskTracker和jobTracker

这些服务在Hadoop2及更高版本上不存在,并由YARN的Node + ResourceManager服务代替。

您可以运行start-dfs.sh来启动Datanode,并且应该查看相应的datanode日志文件以确定其为何无法启动。

例如,您必须先格式化namenode,然后才能启动Datanode(hadoop namenode -format