我目前正在通过以下代码段将名称与prefix_匹配的S3文件夹下载到本地TMP_FOLDER:
TransferManager transferManager = TransferManagerBuilder.standard().withS3Client(s3Instance).build();
MultipleFileDownload multipleFileDownload = transferManager.downloadDirectory(S3_BUCKET, "prefix_", TMP_FOLDER);
multipleFileDownload.waitForCompletion();
transferManager.shutdownNow();
问题是我的计算机用完了磁盘空间,因为我要下载的那些文件夹很大(它们包含许多细小的文本文件,但总的来说,每个文件夹的大小最多为几个GiB)。
因此,我的问题是,是否有一种方法可以限制
TransferManager
或MultipleFileDownload
仅下载特定大小的数据?理想情况下,它应该一个接一个地下载微小文件,并检查下一个文件是否超过了预定义的限制,如果超过,则停止下载(这样可以避免最后有不完整的文件)
(当然,我认为所有文本文件本身都不会大于已建立的限制)
最佳答案
您可以使用getProgress().getBytesTransferredMethod()
跟踪从S3上传/下载的文件大小。达到文件限制时,可以暂停/中止S3传输并稍后恢复。以下链接可能对您有所帮助:
TransferManager
Using transferManager examples