S3存储区中查找重复的文件

S3存储区中查找重复的文件

本文介绍了如何在AWS S3存储区中查找重复的文件?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

有没有办法在Amazon S3存储区中递归地发现重复的文件?在正常的文件系统中,我只需使用:

  fdupes -r / my / directory 


解决方案

在Amazon S3中没有find duplicate命令。



但是,您执行以下操作:




  • 检索对象列表在桶中

  • 查找具有相同的对象 ETag (checksum)和大小



他们(非常可能)是重复的对象。


Is there a way to recursively find duplicate files in an Amazon S3 bucket? In a normal file system, I would simply use:

fdupes -r /my/directory
解决方案

There is no "find duplicates" command in Amazon S3.

However, you do do the following:

  • Retrieve a list of objects in the bucket
  • Look for objects that have the same ETag (checksum) and Size

They would (extremely likely) be duplicate objects.

这篇关于如何在AWS S3存储区中查找重复的文件?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

07-22 08:34