我有一个远程服务器和经过身份验证的Hadoop环境服务器。
我想将文件从远程服务器复制到Hadoop机器再复制到HDFS
请建议采用有效的方法/ HDFS命令将文件从远程服务器复制到HDFS。
任何示例都会有帮助。
从远程服务器复制文件到服务器本身的常规方法是
scp -rp file remote_server:/tmp
但是这种方法不支持直接复制到hdfs
答案 0 :(得分：0)
在这里，您要说的是远程服务器与hadoop节点不在同一网络中。如果是这种情况，您可以从远程计算机scp到hadoop节点本地文件系统，然后使用-put或-copyFromLocal命令移动到HDFS。
示例：hadoop fs -put文件名hdfs：// namenode-uri / path-to-hdfs
答案 1 :(得分：0)
您可以尝试：
ssh remote-server "hadoop -put - /tmp/file" < file