Question

我在2台机器上设置了hadoop集群。一台机器有主机和从机1。第二台机器有slave-2。当我使用start-all.sh启动群集时，我在secondarynamenode的{{1}}文件中出现了以下错误：

.out

以下是我的JPS输出

java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "ip-10-179-185-169/10.179.185.169"; destination host is: "hadoop-master":9000;

有人可以帮我解决这个错误吗？

Answer 1

我也有这个问题。

请检查core-site.xml （这应该在您下载Hadoop的目录下，对我来说，路径是：/home/algo/hadoop/etc/hadoop/core-site.xml）

文件应如下所示：

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/algo/hdfs/tmp</value>
        </property>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

解决方案：将hdfs://localhost:9000用作ip:port。

Answer 2

您使用的端口号可能有问题。试试这个：https://stackoverflow.com/a/60701948/8504709

org.apache.hadoop.ipc.RpcException：RPC响应超过最大数据长度

2 个答案: