Hadoop 2.0.2多节点集群运行问题？

Question

我正在使用MRv2运行多节点hadoop 2.0.2群集。我的问题是这个特定页面和fsck命令一次只显示3个活动节点：

虽然这个页面显示实际没有。活节点

另一个问题是有些数据节点会自动关闭。我怎么知道pblm以及为什么同一个集群显示两个不同的活节点？

Answer 1

关于您正在使用的Web界面http://localhost:50070/dfshealth.jsp用于NameNode WebUI，http://localhost:8088/cluster用于ResourceManager WebUI。

Although this page shows actual no. of live nodes

实际上它没有显示实时节点。如果您看到每个节点的Last Health Updates，您会发现2013年3月16日最后更新了三个节点slave-1,2和3，其余节点已于2013年3月15日更新。你在Namenode Interface 50070上看到的东西。现在只有3个是活跃的。

Another problem is some times some datanodes are getting shutdown automatically.

您的四个节点在2013年3月15日01:00:00（最后更新）下降。所以我会调查你的datanode日志文件，看看他们关闭的原因。如果您尚未设置$HADOOP_HOME/logs/环境变量，则可以在/var/log/hadoop*或HADOOP_LOG_DIR内找到它们

Answer 2

添加一些配置应该在yarn-site.xml中完成，让nodemanager知道资源管理器在哪里。具体来说，我将此属性添加到yarn-site.xml：

<property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property>

原因：yarn-default.xml中的默认值为0.0.0.0，许多属性使用此主机名联系资源管理器，例如

<property> <name>yarn.resourcemanager.address</name> <value>${yarn.resourcemanager.hostname}:8032</value> </property>