我有一个大约1GB大的CSV文件，包含大约5亿行数据，我想知道是把它保存为一个CSV文件还是把它存储为某种形式的数据库。我对mysql的了解不多，不足以说明为什么我应该使用它或其他数据库框架，而不仅仅是将它保存为csv文件。我基本上是用这个数据集进行广度优先搜索，所以一旦得到初始的“种子”集（即5亿个），我就用它作为队列中的第一个值。
谢谢，
最佳答案
我想说，对于如此大的结构化数据，使用一个数据库而不是csv有很多好处，所以我建议您学习足够多的知识。但是，根据您的描述，您可能希望签出非服务器/较轻的数据库。比如sqlite，或者类似于javadb/derby的东西……或者取决于数据的结构，一个非关系（nosql）数据库-显然，您需要一个具有某种python支持的数据库。
关于python - 5000万行数据-CSV或MySQL，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/4505170/