多节点群集Hadoop设置

时间:2013-04-04 10:02:44

标签: hadoop cygwin

伪分布式单节点群集实施

我正在使用带有CYGWIN的窗口7并成功安装了hadoop-1.0.3 。我仍然在端口上启动服务作业跟踪器,任务跟踪器和名称节点(localhost:50030,localhost:50060和localhost:50070)。我已完成单节点实现。

现在我想实现伪分布式多节点集群。我不明白如何通过网络ips划分主从系统?

2 个答案:

答案 0 :(得分:1)

对于你的ssh问题,只需按照单节点集群的链接:

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

是的,您需要在conf文件中指定主服务器和从服务器的IP 你可以参考这个网址: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

我希望这会有所帮助。

答案 1 :(得分:0)

尝试创建要在群集中添加的VM数量。确保这些VM具有相同的hadoop版本。 找出每个VM的IP。 您将在$ HADOOP_HOME / conf中找到名为master和slave的文件,提及要将其视为master的conf / master文件的IP,并对conf / slaves执行相同的操作 从属节点IP。

确保这些节点具有Passwordless-ssh连接。 格式化您的namenode,然后运行start-all.sh。

谢谢,