HBase版本:1.3.1

Hadoop版本:2.7.1

Zookeeper版本:3.4.6

---------------------------------

检查线上业务系统的磁盘空间,

发现HDFS的oldWALs日志占用了大量的空间。

我们的集群分为两套,前置一套,后置一套,

其中,利用hbase的replication功能能,由前置向后置集群同步数据。

经过一翻调查之后,发现replication功能打开的时候,

hbase的oldWALs就不会自动清理了,于是尝试关闭replication功能。

  • 前置集群

一次清理Hbase的oldWALs的过程-LMLPHP

在hbase shell中,使用remove_peer命令,删除复制的peer。

HBase自动清理了一定的oldWALs,释放了一定的空间。

一次清理Hbase的oldWALs的过程-LMLPHP

修改之后的结果如下:

一次清理Hbase的oldWALs的过程-LMLPHP

  • 后置集群

一次清理Hbase的oldWALs的过程-LMLPHP

与前置集群略有不同,采用的措施是把hbase下面这个配置项关掉

一次清理Hbase的oldWALs的过程-LMLPHP

关掉之后,重启HBase集群,oldWALs就被清理 掉了。

一次清理Hbase的oldWALs的过程-LMLPHP

好了,明天可以安心的去北戴河度假了。

非常感谢热心网友的帮助。

一次清理Hbase的oldWALs的过程-LMLPHP

参考链接:

https://stackoverflow.com/questions/28725364/hbase-oldwals-what-it-is-and-how-can-i-clean-it

https://developer.ibm.com/answers/questions/334976/why-is-my-hbase-oldwals-folder-just-filling-up/

04-28 02:49