python - 如何通过python中的psycopg2模块解开存储在postgresql中的二进制数据？

我正在使用 cPickle 和 psycopg2 将一些向量存储到数据库中。
这是我存储二进制数据的代码

binary_vec = cPickle.dumps(vec, -1)
db.cur.execute('''
               INSERT INTO feature_vector (vector, id)
               VALUES (%s, %s);
               ''', (psycopg2.Binary(binary_vec), thread_id)
db.conn.commit()

但是，当我使用 fetchall() 加载我的数据时，类型是缓冲区。我找不到如何将此缓冲区对象恢复到列表 (vec) 的方法。

这就是我获取数据的方式

db.cur.execute("SELECT * FROM feature_vector;")
m = db.cur.fetchall()

结果看起来像这样

[(3169187, <read-only buffer for 0x1002b0f10, size 3462, offset 0 at 0x1004a7430>),
(3169275, <read-only buffer for 0x1002b0f50, size 3462, offset 0 at 0x1004a7570>),
(3169406, <read-only buffer for 0x1002b0f70, size 3462, offset 0 at 0x10140b0b0>),
(3169541, <read-only buffer for 0x10141c030, size 3462, offset 0 at 0x10140b2b0>),
(3169622, <read-only buffer for 0x10141c050, size 3462, offset 0 at 0x10140b3f0>),...

当我尝试使用 cPickle.loads(m[0][1]) 时，它会返回错误信息

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: must be string, not buffer

最佳答案

您可以创建自定义类型转换程序以自动将 pickle 值转换为 Python:

import cPickle
obj = {'a': 10}
data = cPickle.dumps(obj, -1)

import psycopg2

def cast_pickle(data, cur):
    if data is None: return None
    return cPickle.loads(str(psycopg2.BINARY(data, cur)))

psycopg2.extensions.register_type(
    psycopg2.extensions.new_type(
        psycopg2.BINARY.values, 'BINARY-PICKLE', cast_pickle))

cnn = psycopg2.connect('')
cur = cnn.cursor()
cur.execute("select %s::bytea", [psycopg2.Binary(data)])
cur.fetchone()
# ({'a': 10},)

关于python - 如何通过python中的psycopg2模块解开存储在postgresql中的二进制数据？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/13668735/