群集配置/安装上的Hadoop

时间:2013-10-29 11:37:35

标签: hadoop

嗨我有一个小疑问,我已经开始使用我的好奇心,但现在我有以下问题 我的情况是这样的 - 我在局域网中连接了10台机器,我需要在一个系统中创建名称节点,在剩余的9台机器中创建数据节点。那么我是否需要在所有10台机器上安装Hadoop?

例如我有(1 ... 10)台机器,其中machine1是Server,而机器(2..9)是slave [Data Nodes],所以我需要在所有10台机器上安装hadoop

我已经在商用机器上搜索了很多Hadoop集群网络,但是我得到任何与安装相关的东西[即配置]。其中一些给出了如何在自己的系统上配置和安装Hadoop而不是在集群环境中

任何人都可以帮助我吗?并给我详细的想法或文章建议的链接来做上述过程

谢谢

3 个答案:

答案 0 :(得分:2)

是的,您需要在每个节点中安装Hadoop,并且每个节点都应该启动适合其角色的服务。此外,每个节点上的配置文件必须连贯地描述集群的拓扑,包括各种常用资源(例如,namenode)的位置/名称/端口。从头开始手动执行此操作非常容易出错,特别是如果您之前从未这样做过,并且您不确切知道自己要做什么。也可以很好地决定Hadoop(HortonWorks,Cloudera,HDInsight,Intel等)的特定发行版

我建议使用众多部署解决方案之一。我最喜欢的是Puppet,但我确信Chef也会这样做。

另一种(可能更好的?)替代方案是使用Ambari,这是一种Hadoop专用部署和管理解决方案。请参阅Deploying and Managing Hadoop Clusters with AMBARI

一些Puppet资源可帮助您入门:Using Vagrant, Puppet, Testing & Hadoop

答案 1 :(得分:1)

答案 2 :(得分:1)

  1. 是必须在所有计算机上都有hadoop
  2. 对于群集环境,请浏览video