将非HA Hadoop集群转换为HA集群

时间:2017-05-05 09:06:08

标签: hadoop hbase hdfs hadoop2 high-availability

我有一个包含3个节点的非HA Hadoop设置:一个NameNode和两个DataNode。 NameNode是一个4GB内存和20GB硬盘的服务器,而每个DataNode有8GB内存和100GB硬盘。

现在我需要将其转换为HA群集。我已经阅读了两种方法:使用Quorum Journal Manager和使用共享存储。

从上面两个方法做到这一点的最佳方式是什么? 每种方法我需要多少个额外的节点? 如何最大限度地减少使用现有节点添加新节点的需求(建议将DataNodes和NameNodes用作JournalNodes)?

我正在使用Apache Hadoop版本:2.7.2和Apache Hbase版本:1.2.4

1 个答案:

答案 0 :(得分:1)

  

从上面这两个方面做到这一点的最佳方式是什么?

除非您具有高度可靠且容错的共享存储,否则建议选择QJM(Quorum Journal Manager)。

  

每种方法需要多少个额外节点?

备用Namenode的

一个。您可以运行JournalNodes和Zookeeper节点以及Datanodes。