是否有任何无损压缩方法可应用于浮点时间序列数据,并且将大大优于将数据作为二进制文件写入文件并通过gzip运行的性能?

降低精度是可以接受的,但必须以受控方式进行(即,我必须能够对必须保留的位数设置界限)

我正在处理一些大数据文件,这些文件是一系列相关的double,描述了时间的函数(即值是相关的)。我通常不需要完整的double精度,但我可能需要的不仅仅是float

由于存在专门的图像/音频无损方法,因此我想知道是否存在针对这种情况的专门方法。

澄清:我正在寻找现有的实用工具,而不是描述如何实现这种方法的论文。在速度上可以媲美gzip的东西将是极好的。

最佳答案

您可能想看看这些资源:

  • Lossless Compression of Predicted Floating-Point Values
  • Martin Burtscher撰写的论文:The FPC Double-Precision Floating-Point CompressionAlgorithm and its ImplementationFast Lossless Compression of Scientific Floating-Point DataHigh Throughput Compression of Double-PrecisionFloating-Point Data

  • 您可能还想尝试Logluv-compressed TIFF,以为我自己没有使用过它们。

    关于compression - 压缩浮点数据,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/8630609/

    10-11 20:56