我需要一个类似于cdb(常量数据库)的工具,该工具将允许我在索引文件中存储大量数据(数百GB的范围)。 CDB是理想的选择,但文件大小限制为2 GB,因此不合适。
我要寻找的功能是支持二进制键和值的持久键值存储。创建数据库后,它是只读的,永远不会被修改。
你能推荐一些工具吗?顺便说一句,存储开销应该很小,因为我将存储数十亿条记录。
顺便说一句,我正在寻找一个数据库管理库(嵌入式),而不是一个独立的服务器。可以在C程序中使用的东西。
谢谢,
RG
最佳答案
另一个选项是mcdb,它是从Dan J. Bernstein的cdb扩展而来的。
https://github.com/gstrauss/mcdb/
mcdb支持非常大的常量数据库,并且在创建数据库和访问数据库方面都比cdb快。尽管如此,创建数百GB的数据库仍需要一些时间。 mcdb可以在几秒钟内为缓存的数据创建一个千兆字节的数据库,而从冷缓存启动时则可以在一分钟左右的时间内创建一个GB的数据库。
https://github.com/gstrauss/mcdb/blob/master/t/PERFORMANCE
(公开:我是mcdb的作者)
关于database - cdb-大型文件的常量键值存储(数百GB),我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/9724319/