Hadoop每文件块大小

Question

在Hadoop书中，据说我们可以在创建文件时指定每个文件的块大小。

＆＃34;增加分割大小的最自然方法是在HDFS中设置较大的块，方法是设置dfs.block.size，或者在文件构建时按文件构建。＆＃34;

知道如何在文件构建时执行此操作。我希望通过将其设置为value = file-size，该文件将不会被拆分

Answer 1

您可以使用CLI：

hadoop fs -D dfs.block.size=file-size -put local_name remote_location

或者您可以在创建或复制文件时使用Java API指定dfs.block.size。

Configuration conf = new Configuration();
conf.setInt("dfs.block.size",file-size);