映射减少过程中的连接超时

Question

我使用distcp命令将数据从一个群集传输到其他群集。我在地图缩减过程中遇到问题：

java.net.ConnectException：连接超时

我正在使用以下命令：

/home/hadoop/hadoop/bin/hadoop distcp -update -skipcrccheck "hftp://source:50070//hive/warehouse//tablename" "hdfs://destination:9000//hive/warehouse//tablename"

我如何解决这个问题。解决方案将会受到影响。

Answer 1

如果您尝试将数据从 HDFS 传输到另一个那么为什么使用 hftp 命令？

hftp 用于将数据从ftp服务器传输到hdfs。

尝试 hdfs到hdfs

/home/hadoop/hadoop/bin/hadoop distcp -update -skipcrccheck "hdfs://source:50070/hive/warehouse/tablename" "hdfs://destination:9000/hive/warehouse/tablename"

对于 ftp到hdfs ，请使用正确的ftp地址。