在hdfs中编写大于块大小的文件

Question

如果我尝试将200MB的文件写入HDFS，其中HDFS块大小为128MB。如果在写入150MB的200MB后写入失败会发生什么。我能从读取的数据部分读取数据吗？如果我再次尝试写同一个文件怎么办？那是重复的吗？先前写入失败的150MB数据会发生什么变化？

Answer 1

HDFS默认的Block Size是128MB，如果它在写入时失败（它将在Hadoop管理UI中显示状态，文件扩展名复制。）

• 只会复制150MB的数据。

• 是的，你只能阅读部分数据（150MB）。

• 恢复复制后，它将从上一点继续（如果两条路径相同且文件名相同）。

• 对于每一条数据，您都可以根据复制因素找到复制。

• 以前的书面数据将以HDFS格式提供。