我有一个简单的bash脚本,可以通过非常慢的网络下载大量日志文件。我可以在远程端压缩日志。基本上是:
ssh: compress whole directory
scp: download archive
ssh: rm archive
使用lzma可以进行很大的压缩,但是压缩整个目录的速度很慢。有没有什么工具或简便的方法可以编写脚本来允许我压缩单个文件(或一堆文件)并在其他文件/块仍在压缩时开始下载它们?我正在考虑为后台中的每个文件启动压缩,并在循环中使用正确的扩展名下载/rsync文件。但是我不知道如何检查压缩过程是否完成了工作
最佳答案
最简单的方法是使用ssh -C
在传输过程中压缩它们。但是,如果您有大量小文件,则最好使用tar zcf
或tar jcf
对所有目录进行压缩和gzip/bzip处理。尽管我还没有尝试过,但是您仍可以在仍在编写文件时开始下载文件。