hadoop集群中zookeeper的硬件建议

时间:2013-08-14 22:56:34

标签: hadoop apache-zookeeper

我有一个轻量级的Hadoop环境:

2个名称节点(作业跟踪器/ HBase Master)+ 3个数据节点(tasktracker / HBase Region)

它们都像两个四核CPU + 16-24G内存+总共15T

我想知道如果我去找3个动物园管理员,那么动物园管理员的服务器规格是什么样的?任何人都可以分享一些经验吗?

1 个答案:

答案 0 :(得分:2)

来自HBase's perpective -

  

给每个ZooKeeper服务器大约1GB的RAM,如果可能的话,给它自己的   专用磁盘(专用磁盘是您可以做的最好的事情   确保高性能的ZooKeeper集合)。对于非常重负荷   集群,在不同的机器上运行ZooKeeper服务器   RegionServers(DataNodes和TaskTrackers)。

- 应将专用磁盘配置为在事务日志增长时存储快照。

- 需要有足够的RAM,以便它不会交换。