Question

现在我想在我的hadoop集群中添加一个新的Datanode 我是否需要停止或关闭hadoop群集并添加新的datanode 如何在hadoop集群中添加新的datanode

Answer 1

基本上，您停止群集，将节点的IP地址添加到conf/slaves，然后重新启动群集。

PS：Iff启动和停止很烦人（在大量文件中可能需要几个小时）你可以在那里添加一些人工IP，当更多的奴隶加入群集时你只需启动它们。 Hadoop并不关心配置或关闭的奴隶数量：它将使用它可以获得的内容。并且定义尚未存在的从属是在Hadoop中热连接从属的好习惯。

Answer 2

在这种情况下，您无需关闭或重新启动整个群集首先，将新节点的主机名添加到主节点上的conf / slaves文件中。还要在所有计算机上的etc / hosts文件中添加ipaddress和hostname，以便它们进行通信。然后登录到新的从属节点并执行以下命令：

$ cd path/to/hadoop 
$ bin/hadoop-daemon.sh start datanode 
$ bin/hadoop-daemon.sh start tasktracker

Answer 3

您不需要重新启动hadoop群集。根据此document，您可以在包含文件中添加节点，并在hdfs-site.xml和mapred-site.xml文件中进行一些更改，您可以实现此目的。详细说明见this document