我正在尝试使用Apache Whirr在Amazon Web Services上运行Hadoop的单节点实例。我将whirr.instance-templates设置为1 jt+nn+dn+tt。实例启动正常。我可以创建目录,但是当我尝试put文件时,我得到了File could only be replicated to 0 nodes, instead of 1 error。当我执行hadoop fsck /时,出现Exception in thread "main" java.net.ConnectException: Connection refused错误。有人知道我的配置出了什么问题吗?

最佳答案

我的经验是,whirr并不总是能够可靠地启动所有服务。听起来namename已启动(namenode负责存储目录信息),但datanode没有启动(datanode存储数据)。

尝试跑步

hadoop dfsadmin -report

查看datanode是否可用。

如果不是:通常有助于重新启动群集。

关于amazon-ec2 - 如何使用Apache Whirr在AWS上建立单节点Hadoop实例?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/6311130/

10-11 07:05