是否有任何无损压缩方法可应用于浮点时间序列数据,并且将大大优于将数据作为二进制文件写入文件并通过gzip运行的性能?
降低精度是可以接受的,但必须以受控方式进行(即,我必须能够对必须保留的位数设置界限)
我正在处理一些大数据文件,这些文件是一系列相关的double
,描述了时间的函数(即值是相关的)。我通常不需要完整的double
精度,但我可能需要的不仅仅是float
。
由于存在专门的图像/音频无损方法,因此我想知道是否存在针对这种情况的专门方法。
澄清:我正在寻找现有的实用工具,而不是描述如何实现这种方法的论文。在速度上可以媲美gzip的东西将是极好的。
最佳答案
您可能想看看这些资源:
您可能还想尝试Logluv-compressed TIFF,以为我自己没有使用过它们。
关于compression - 压缩浮点数据,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/8630609/