有没有办法在HDFS上快速上传数据？

Question

我正在尝试在HDFS上传每张大小为5G的4K文件进行处理。我使用命令方式执行此操作：

迭代每个文件 -

  

hadoop fs -copyFromLocal“LocalPath”“HDFSPath”

需要花费很多时间。有更快的方法吗？块大小在这里很重要吗？

提前致谢。

Answer 1

您可以使用后台命令并行上传文件，方法是根据群集配置将4k文件分成几组。