Hadoop群集设置（完全分布式模式）

Question

我在多节点群集上设置了hadoop，我有几个问题：

1. 将NameNode和ResourceManager放在同一台机器上是否可以？

2. 哪个是主系统的最佳角色，NameNode，ResourceManager或DataNode/NodeManager？

3. 我有一台主机和3台奴隶机器。主机上的从站文件包含以下条目：

   master
   slave1
   slave2
   slave3
   

我是否必须在所有从机中放置相同的从属文件？或者我应该删除第一行（主）然后将它放在从机中？

最诚挚的问候。

Answer 1

1. 是的，至少在小型集群中，这两个应该在主节点中运行。
2. 检查答案1.主节点也可以有例如SecondaryNamenode和JobHistoryServer
3. 不，从属文件仅在主节点上。如果在从属文件中有主节点，则表示主节点也充当datanode。特别是在完全没问题的小集群中。从属文件实质上告诉了节点上的datanode进程是什么启动的。

从属节点应该只运行DataNode和NodeManager。但是，如果配置正确，这都由Hadoop处理 - 您可以在从主节点启动集群后检查正在运行的进程。主节点基本上可以处理所有事情，您“从不”需要手动连接到从站以进行任何配置。

我的回答是针对小型集群，可能在更大的“真实”集群中，服务器职责更加分散。

Answer 2

要完全了解多节点群集概念，请点击此链接 - http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/

并且用于实现多节点集群步骤vise，请点击此链接 - http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

这些链接可以帮助您