Hadoop使用较小的硬盘添加datanode

时间:2013-10-09 16:04:03

标签: hadoop hdfs

我们计划在Hadoop集群中添加两个新的datanode。谷歌搜索了一天后,我仍然无法回答这个问题: 如果新数据节点上的硬盘较小,会发生什么? 这会导致HDFS的总体尺寸变小吗?

这是一个例子

Datanode1 with 1TB
Datanode2 with 1TB
Total storage = 2TB

再添加一个500GB磁盘节点

Datanode3 with 500GB

HDFS总存储量是多少? 2.5TB或1.5TB?

如果它是2.5TB(我希望如此),hadoop如何平衡不同硬盘驱动器的不同数据节点周围的存储?

1 个答案:

答案 0 :(得分:1)

HDFS总容量为2.5 TB。现有块将按原样存在,并且一旦添加到群集,就不会移动到新节点。要将某些块从重载节点移动到已下载的节点,请使用Hadoop安装中的bin/start-balancer.shbin/stop-balancer-sh脚本。

块放置策略将确定时钟的去向。由于新节点HDD是空的,因此放入HDFS的新文件块更有可能到达那里。