如何将文件从HDFS复制到远程HDFS

Question

我想将文件从Hadoop群集复制到远程群集。

我在远程群集中有hadoop_conf文件，可以通过设置HADOOP_CONF_DIR.

来访问它

我知道远程名称节点的IP和端口。

我想通过命名空间复制文件，如下所示。

  

ex）hadoop fs -cp hdfs：// MyNamespace / path / file hdfs：// RemoteNamespace / path / file

但是，如果我没有配置hadoop_conf_dir，我不知道远程命名空间，如果我在hadoop_conf_dir中设置了远程群集的信息，我就无法访问我的群集＆＃39; s命名空间。

请让我知道怎么做。

Answer 1

在群集之间复制的典型方法是使用distcp。

$ hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

请参阅 DistCp Version2 Guide了解更多信息。