hadoop - 删除超过N天的hdfs中的分区文件夹

我想删除早于N天的分区文件夹。

下面的命令提供了恰好50天前的文件夹。我想要少于50天的所有文件夹的列表

hadoop fs -ls /data/publish/DMPD/VMCP/staging/tvmcpr_usr_prof/chgdt=`date --date '50 days ago' +\%Y-\%m-\%d`

最佳答案

您可以尝试使用solr hdfsfindtool:

hadoop jar /opt/cloudera/parcels/CDH/lib/solr/contrib/mr/search-mr-job.jar org.apache.solr.hadoop.HdfsFindTool -find /data/publish/DMPD/VMCP/staging/tvmcpr_usr_prof -mtime +50 | xargs hdfs dfs -rm -r -skipTrash

关于hadoop - 删除超过N天的hdfs中的分区文件夹，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/43889792/