为什么hadoop丢失了节点

Question

我很困惑，当我运行commond＆＃34; hadoop dfsadmin -report＆＃34;我可以看到那里

但资源管理器，群集指标，它显示

为什么会这样，为什么会发生这种情况？ 提前谢谢！

Answer 1

您与9个从属节点连接。但是5个处于活动状态的从属节点处于不健康状态。

不健康状态的原因：

Hadoop MapReduce提供了一种机制，管理员可以通过该机制配置TaskTracker以定期运行管理员提供的脚本，以确定节点是否健康。管理员可以通过在脚本中执行任何选择检查来确定节点是否处于健康状态。如果脚本检测到节点处于不健康状态，则必须以字符串ERROR开头的标准输出行。 TaskTracker定期生成脚本并检查其输出。如果脚本的输出包含字符串ERROR，如上所述，节点的状态将报告为＆＃39;运行状况不佳＆＃39; ，并且该节点在黑名单上列出JobTracker。不会为此节点分配其他任务。但是，TaskTracker继续运行脚本，因此如果节点再次变得健康，它将自动从JobTracker上的黑名单节点中删除。节点的健康状况以及脚本的输出（如果不健康）可供JobTracker的Web界面中的管理员使用。自节点运行以来的时间也会显示在Web界面上。

丢失节点的原因：

我认为某些BLOCKS（数据）可能在奴隶中不可用。所以它显示丢失的节点为9。

要从群集删除死节点，请使用此链接To Decommission Nodes

Answer 2

ResourceManager中的集群度量标准显示了NodeManager的状态。

hadoop dfsadmin -report此命令显示Datanodes的状态。