hadoop - org.apache.hadoop.ipc.RpcException:RPC响应超出最大数据长度

我已经在2台计算机上设置了hadoop集群。
一台机器同时具有master-1和slave-1。
第二台计算机具有从站2。
当我使用start-all.sh启动集群时，在secondarynamenode的.out文件中出现以下错误:

java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "ip-10-179-185-169/10.179.185.169"; destination host is: "hadoop-master":9000;

以下是我的JPS输出

98366 Jps
96704 DataNode
97284 NodeManager
97148 ResourceManager
96919 SecondaryNameNode

有人可以帮我解决这个错误吗？

最佳答案

我也有这个问题。

请检查core-site.xml(这应该在您下载Hadoop的目录下，对我来说，路径是:/home/algo/hadoop/etc/hadoop/core-site.xml)

该文件应如下所示:

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/algo/hdfs/tmp</value>
        </property>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

解决方案:使用hdfs://localhost:9000作为ip:port。

关于hadoop - org.apache.hadoop.ipc.RpcException:RPC响应超出最大数据长度，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/44724663/