将目录从远程HDFS本地文件系统复制到本地计算机

Question

我的本​​地hdfs环境中有一个目录，我想将其复制到本地计算机。我使用ssh（带密码）访问hdfs。

我尝试了很多建议的复制命令，但没有用。

我尝试了什么：

scp ‘username@hn0-sc-had:Downloads/*’ ~/Downloads

如此link中所述。 我究竟做错了什么？

Answer 1

SCP将从远程Linux服务器进行复制。

HDFS不存在于单个服务器上，或者是一个＆＃34;本地文件系统＆＃34;，因此SCP不是直接从中复制的正确工具

您的选择包括

1. SSH到远程服务器
2. 使用hdfs dfs -copyToLocal从HDFS中提取文件
3. 使用计算机中的SCP获取刚刚在远程服务器上下载的文件

或

1. 使用来自远程服务器的XML文件配置本地Hadoop CLI
2. 直接对您自己计算机上的HDFS使用hdfs dfs -copytoLocal

或

1. Install HDFS NFS Gateway
2. 在本地计算机上安装NFS卷，并从中复制文件