hdfs将多个文件复制到同一目标目录

时间:2016-12-16 13:52:04

标签: hadoop copy hdfs subdirectory cp

我了解到如果你想将多个文件从一个hadoop文件夹复制到另一个hadoop文件夹,你可以更好地创建一个大的' hdfs dfs -cp'包含大量组件的语句,而不是创建多个hdfs dfs -cp语句。 随着“更好”'我的意思是它会缩短复制文件所需的时间:一个命令比几个单独的-cp命令相继运行更快。

当我这样做并且我的目标目录与我要复制的所有文件相同时,我会收到警告。

我正在执行以下命令:

hdfs dfs -cp -f /path1/file1 /pathx/target /path2/file2 /pathx/target /path3/file3 /pathx/target

执行后,我收到以下警告:

cp: `/pathx/target' to `/pathx/target/target': is a subdirectory of itself

虽然我得到了这个奇怪的警告,但副本本身也应该成功。 这是一个错误还是我错过了什么?

1 个答案:

答案 0 :(得分:10)

尝试使用以下语法:

hadoop fs -cp /path1/file1 /path2/file2 path3/file3 /pathx/target