将文件从远程服务器(本地fs)并行复制到群集hdfs

时间:2019-02-20 18:05:25

标签: java api hadoop hdfs

我使用distCp进行了测试,但是我知道它仅用于在hdfs群集之间进行复制。我目前有一个使用copyFromLocalFile()复制的Java程序,但是即使使用线程也无法提高性能,但我知道该操作是串行的。多线程程序的性能与使用copyFromLocalFile()方法使用一组线程以及使用FSDataOutputStream的性能相同。

是否可以将文件从远程服务器并行复制到群集hdfs?

0 个答案:

没有答案