有没有一种方法可以使用pd.to_feather附加到.feather格式文件?

我也很好奇是否有人知道最大文件大小方面的一些限制,以及在读取.feather文件时是否可以查询某些特定数据(例如读取日期>'2017-03-31的行) ')。

我喜欢能够存储我的数据框和分类数据的想法。

最佳答案

不幸的是, Feather 和 Parquet 都是面向柱状的文件。这意味着您无法“附加”,因为只有在面向行的文件格式中才有可能。如果要使用 Parquet 或 Feather 装饰,可以考虑采用其他方法对文件进行分区。例如,如果您的数据每天都生成一次,并且没有变化,则可以根据日期进行写入和分区。在读取和写入文件时确实会产生一些开销,但是比每次都重写整个文件更好的选择。

由于它是列格式,因此您也无法查询,而只能在以下位置读取行:日期> 2017年1月1日, Parquet 的优势在于您仅能读入分析所需的列。

关于pandas - 您可以附加.feather格式吗?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/44608076/

10-09 10:04