我的问题是:hadoop回收站为什么会保留多个过期时间的数据
 
我们知道hadoop的回收站是在我们删除数据后能恢复的目录,但是我们并不希望在回收站保存太久的数据,我们可以使用如下参数进行配置。
 
在core-site.xml中配置如下参数
<property>
<name>fs.trash.interval</name>
<value>5</value>
</property>
 
<property>
<name>fs.trash.checkpoint.interval</name>
<value>5</value>
</property>
 
参数介绍:
fs.trash.interval=0
 
以分钟为单位的垃圾回收时间,垃圾站中数据超过此时间,会被删除。如果是0,垃圾回收机制关闭。
可以配置在服务器端和客户端。
如果在服务器端配置trash无效,会检查客户端配置。如果服务器端配置有效,客户端配置会忽略。
 
建议开启,建议4320(3天)
垃圾回收站,如有同名文件被删除,会给文件顺序编号,例如:a.txt,a.txt(1)
 
fs.trash.checkpoint.interval=0
 
以分钟为单位的垃圾回收检查间隔。应该小于或等于fs.trash.interval。如果是0,值等同于fs.trash.interval。每次检查器运行,会创建新的检查点。
 
建议设置为60(1小时)
 
我遇到的情况:
测试环境,只配置了fs.trash.interval参数,参数内容如下
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
 
checkpoint并没有配置,那检测点应该是按天来检测,我们可以在namenode的日志中看到
hadoop 设置回收站-LMLPHP
 hadoop 设置回收站-LMLPHP
这样就会导致我回收站里会存放两天的数据,现在集群的空间不是很足,不希望保存那么久的数据在回收站里
hadoop 设置回收站-LMLPHP
hadoop 设置回收站-LMLPHP 
 
原因分析:
导致上面的问题所在是因为,日志过期时间为1天,数据监测间隔没有设置,默认值是跟过期时间一样也是一天,这样就是当我日志在晚上18:56删除的时候,早上检测点是8点,由于时间没有过期,所以会保留昨天18:56的数据,然后今天晚上的18:56也会删除数据,所以最后导致会存两天的垃圾数据。
 
应该怎么解决了,可以如下解决:
修改检测点,调整fs.trash.checkpoint.interval为2小时
<property>
<name>fs.trash.checkpoint.interval</name>
<value>120</value>
</property>
05-11 08:53