python - low_memory和memory_map标志在pd.read_csv中做什么

pandas.read_csv的函数签名提供了以下选项:

read_csv(filepath_or_buffer, low_memory=True, memory_map=False, iterator=False, chunksize=None, ...)

我找不到有关low_memory或memory_map标志的任何文档。我对这些功能是否已实现以及它们如何工作感到困惑。

具体来说，

memory_map:如果实现，则使用np.memmap，如果使用，则将各个列存储为memmap或行。

low_memory:是否指定类似cache的内容存储在内存中？

我们可以将现有的DataFrame转换为映射的DataFrame

P.S. :相关模块的版本

pandas==0.14.0
scipy==0.14.0
numpy==1.8.1

最佳答案

我将尝试总结对这个问题的评论，并将我自己的研究结果添加到一个综合的答案中。

low_memory选项是的的一种，因为它实际上不再执行任何操作(source)。

据我从source code所知，

memory_map似乎没有使用numpy内存映射。这似乎是如何解析传入的数据流的一个选项，而不是与您所接收的数据帧的工作方式有关的选项。

由于我在第2点中的假设是这仅用于解析，因此这个问题有点无关紧要。

关于python - low_memory和memory_map标志在pd.read_csv中做什么，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/24249690/