我正在使用mongodb使用scrapy框架存储网页的原始HTML数据。在一天的网络抓取中，已填满25GB磁盘空间。有没有一种方法可以以压缩格式存储原始数据。
最佳答案
没有内置压缩功能。某些操作系统提供磁盘/文件压缩功能，但是如果您需要更多控制权，建议您使用适用于任何编程语言的库对它进行压缩，然后手动控制压缩。
例如，NodeJs为此提供了简单的便捷方法:http://nodejs.org/api/zlib.html#zlib_examples
3.0更新
如果选择切换到3.0附带的新存储引擎WiredTiger，则可以选择多种压缩类型，如here所述。当然，您将需要测试生产工作负载中的这种变化，以发现额外的CPU利用率是否值得进行压缩。
关于mongodb - 以压缩格式存储mongodb数据，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/18014541/