Question

我想将整个本地目录与一些子目录和文件一起复制到HDFS。 HDFS已经包含根目录和一些带有文件的子目录。我只是想从本地目录中添加更新的文件。

Local directory /www/hitlogfetcher/logs/:
day=20--hour=00/files.....
  |-hour=01/files.....
  |-hour=02/files....

HDFS /hitlogfetcher-test/:
day==20--hour=00/files
   |-hour=01/

当我使用命令时： hadoop dfs -copyFromLocal / www / hitlogfetcher / logs / * / hitlogfetcher-test / 我收到了错误消息：

Target /hitlogfetcher-test/day=20 is a directory

day = 20是包含一些子目录和文件的目录

所以我想从目录hour = 01复制文件，然后复制cpy目录hour = 02及其文件。

是否可以使用hadoop shell命令或其他方式？

谢谢，Michal

Answer 1

copyFromLocal命令将默认递归上传目录，因此您不需要“*”：

hadoop dfs -copyFromLocal /www/hitlogfetcher/logs/  /hitlogfetcher-test/
                                                  ^

复制目录的Hadoop copyFromLocal问题

1 个答案: