我们的小型hadoop集群中的空间已用完,因此我检查了HDFS上的磁盘使用情况,发现大部分空间都被/ hbase / oldWALs文件夹占用。

我已经检查了“HBase权威书籍”和其他书籍,网站,并且还在Google上搜索了我的问题,但没有找到适当的答案...

所以我想知道这个文件夹的作用,用途以及如何在不破坏所有内容的情况下从该文件夹中释放空间...

如果与特定版本相关...我们的集群位于cloudera(hbase 0.98.6)的5.3.0-1.cdh5.3.0.p0.30下。

谢谢您的帮助!

最佳答案

费耶

我已经在hbase用户列表中发布了此问题。
这是EnisSöztutar(一个hbase提交者)的答案以及我如何解决的:



复制确实确实无法在所有群集上进行,但是在过去它是启用的,因为我们使用hbase-indexer将数据从HBase复制到Solr,并且这种机制基于复制。

我已经在hbase shell上运行了以下命令:

hbase(main):005:0> list_peers
PEER_ID CLUSTER_KEY STATE TABLE_CFS
Indexer_profilesIndexer m1.prod.ps,m2.prod.ps,m3.prod.ps:2181:/ngdata/sep/hbase-slave/Indexer_profilesIndexer DISABLED nil
1 row(s) in 0.0070 seconds

hbase(main):006:0> remove_peer 'Indexer_profilesIndexer'
0 row(s) in 0.0050 seconds


hbase(main):007:0> list_peers
PEER_ID CLUSTER_KEY STATE TABLE_CFS
0 row(s) in 0.0020 seconds

最后,我删除了hdfs上的oldsWALs文件夹!

该文件夹不再增长!

07-24 09:49
查看更多