Hadoop文件拆分

时间:2018-06-04 05:56:14

标签: hadoop bigdata

我想将一个大文件放入Hadoop文件系统。它将以64 mb(或128mb)的块进行拆分,尽管属于特定文件,但这些块很可能沿着集群中的不同节点分布。

我知道hadoop符合无共享范式,因此不共享内存。如果某个节点想要详细说明初始文件,它会将每个64mb(或128mb)块从发送各种块的节点复制到本地内存中吗?

ps:当文件在64 mb(或128mb)块中分割时,它会被简单地截断为64 mb(或128mb)的倍数或者应用其他一些过程吗?

0 个答案:

没有答案