HDFS复制和数据分发

时间:2016-08-15 13:26:02

标签: hdfs replication

我有一个包含4个DataNode的Hadoop集群。我对两个问题感到困惑:数据复制和数据分发。

假设我有一个2 GB的文件,我的复制因子是2&块大小为128 MB。当我将此文件放入hdfs时,我看到每个128 MB块的2个副本被创建,它们被放置在datanode3和datanode4中。但是datanode2&不使用datanode1。由于复制因素,数据被复制,但我希望在datanode1和datanode2中看到一些数据块。有什么不对吗?

让我们说我有20个DataNode,复制因子是2.如果我在HDFS上放置一个文件(2 GB),我再次期望看到每个128 MB的两个副本,但也期望看到这些128 MB块分布在20个DataNode之间。

0 个答案:

没有答案