我有一个由4个虚拟机(1个主节点和3个从属节点)组成的虚拟hadoop群集,最近向群集中的datanode添加了100GB的容量。问题在于HDFS无法检测到这种增加。我重新启动了datanode,namenode并格式化了HDFS,但是没有影响。我该如何解决这个问题?

最佳答案

我正在为添加数据节点/增加hdfs卷大小编写步骤:

  • 在根目录中创建一个文件夹,例如。 /hdfsdata
  • 在home下创建一个文件夹,例如。 /home/hdfsdata
  • 向“hdfs”用户提供对此文件夹的权限:chown hdfs:hadoop -R /home/hdfsdata
  • 提供此文件夹的文件/文件夹权限:chmod 777 -R /home/hdfsdata.
  • 挂载此新文件夹:mount --bind /home/hdfsdata/ /hdfsdata/
  • 最后,将此新创建的目录添加到hdfs-site.xml中的属性“dfs.datanode.data.dir”下,并用逗号分隔。

  • 当我CD到/ hadoop / hdfs / data

    完成上述步骤后,重新启动HDFS服务,您的容量就会增加。

    关于hadoop - HDFS未检测到数据节点容量增加,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/50999325/

    10-10 19:45