HDFS文件如何存储在底层OS文件系统中?

时间:2014-09-18 09:55:19

标签: hdfs

HDFS是Hadoop中的逻辑文件系统,块大小为64MB。 HDFS上的文件又保存在底层操作系统文件系统中,例如ext4,其中4KiB为块大小。

据我所知,对于本地文件系统上的文件,OS使用4KiB块的物理硬盘的开始和结束柱面进行检索。由于HDFS文件也保存在ext4底层文件系统中,因此还可以在4KiB块的开始和结束柱面的帮助下检索HDFS文件。

如果是这种情况,则不会提高数据检索的速度。现在的问题是HDFS wrt硬盘中用于提高检索速度的技术是什么?

提前致谢

1 个答案:

答案 0 :(得分:1)

来自ext文件系统的检索速度不会因为您认为非常正确而改变。 但是发生的事情是大文件被分成64Mb的部分,这些部分存储在不同的机器上。因此,当进行检索调用时,多台机器同时读取文件并报告给主机(名称节点)。事情就这样加快了。就像10名男子在1天内完成建筑任务而不是10天内完成建筑任务一样。

相关问题