Hadoop群集设置(完全分布式模式)

时间:2014-10-29 10:36:56

标签: hadoop hadoop2

我在多节点群集上设置了hadoop,我有几个问题:

  1. NameNodeResourceManager放在同一台机器上是否可以?

  2. 哪个是主系统的最佳角色,NameNodeResourceManagerDataNode/NodeManager

  3. 我有一台主机和3台奴隶机器。主机上的从站文件包含以下条目:

    master
    slave1
    slave2
    slave3
    
  4. 我是否必须在所有从机中放置相同的从属文件?或者我应该删除第一行(主)然后将它放在从机中?

    最诚挚的问候。

2 个答案:

答案 0 :(得分:3)

  1. 是的,至少在小型集群中,这两个应该在主节点中运行。
  2. 检查答案1.主节点也可以有例如SecondaryNamenode和JobHistoryServer
  3. 不,从属文件仅在主节点上。如果在从属文件中有主节点,则表示主节点也充当datanode。特别是在完全没问题的小集群中。从属文件实质上告诉了节点上的datanode进程是什么启动的。
  4. 从属节点应该只运行DataNode和NodeManager。但是,如果配置正确,这都由Hadoop处理 - 您可以在从主节点启动集群后检查正在运行的进程。主节点基本上可以处理所有事情,您“从不”需要手动连接到从站以进行任何配置。

    我的回答是针对小型集群,可能在更大的“真实”集群中,服务器职责更加分散。

答案 1 :(得分:1)

要完全了解多节点群集概念,请点击此链接 - http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/

并且用于实现多节点集群步骤vise,请点击此链接 - http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

这些链接可以帮助您

相关问题