python - 从HDF5迁移到PostgreSQL

我有许多具有下一属性的大型一维hdf5数据集：


初始大小=（5201，），
maxshape =（6000000，），
dtype ='float32'
块=（10000，）
压缩=“ gzip”
路径示例：file [“ Group”] [“ 1”] [“ Group1”] [“ 2”] [“ Dataset”]


我想将它们移动到PostgreSQL中，我处理了数据库的结构并插入了数据，但是每次填充需要大约650秒的72,4mb hdf5文件，有人可以给我一些提示/建议来改善性能吗？

我现在所拥有的：

def fill_database(self, dog):
    if isinstance(dog, h5py.Dataset):
        name = dog.name.split('/')
        table_name = '{}_{}'.format(name[3], name[5])
        data = dog.value.astype(int).tolist()
        self.cur.execute('CREATE TABLE IF NOT EXISTS {} (cur_id INT PRIMARY KEY , data INT[]);'.format(table_name))
        self.cur.execute('INSERT INTO {} VALUES (%s, %s)'.format(table_name), (name[2], data))

        if isinstance(dog, h5py.Group):
            for k, v in dict(dog).items():
                self.fill_database(v)

我试过的

import psycopg2
import h5py
from itertools import islice


with h5py.File('full_db.hdf5') as hdf5file:
    with psycopg2.connect(database='hdf5', user='postgres', password='pass', port=5432) as conn:
        cur = conn.cursor()
        cur.execute('drop table if EXISTS mytable;')
        cur.execute('create table mytable (data INT[]);')
        chunksize = 10000
        t = iter(hdf5file["Group"]["1"]["Group1"]["2"]["Dataset"][:].astype(int))
        rows = islice(t, chunksize)
        while rows:
            statement = "INSERT INTO mytable(data) VALUES {}".format(rows) # I stuck here
            cur.execute(statement)
            rows = islice(t, chunksize)
        conn.commit()

我也尝试在PostgreSQL和其他许多方式中使用LIMIT进行操作，但未成功。

我认为某些问题可能是由于数据库中的数组，我将它们用于以后更方便的输出。

最佳答案

近两周后，我想我可以回答我自己的问题。
为了寻找答案，我在Internet上的此页面https://github.com/psycopg/psycopg2/issues/179
同样，在阅读了文档之后，我了解到从文件进行复制的过程甚至更快，因此我尝试使用StringIO模块。那就是我得到的：

import h5py
import psycopg2
import time
from io import StringIO

conn = psycopg2.connect(database='hdf5', user='postgres', password=' ')
cur = conn.cursor()

file = h5py.File('db.hdf5', 'r')
data_set = file['path/to/large/data_set'].value.astype(int).tolist()

cur.execute('DROP TABLE IF EXISTS table_test;')
cur.execute('CREATE TABLE table_test (data INTEGER[]);')

# ORIGINAL
start = time.time()
cur.execute('INSERT INTO table_test VALUES (%s);', (data_set,))
print('Original: {} sec'.format(round(time.time() - start, 2)))

# STRING FORMAT
start = time.time()
data_str = ','.join(map(str, data_set)).replace('[', '{').replace(']', '}')
cur.execute('INSERT INTO table_test VALUES (ARRAY[{}]);'.format(data_str))
print('String format: {} sec'.format(round(time.time() - start, 2)))

# STRING IO COPY
start = time.time()
data_str = ','.join(map(str, data_set)).replace('[', '{').replace(']', '}')
data_io = StringIO('{{{}}}'.format(data_str))
cur.copy_from(data_io, 'table_test')
print('String IO: {} sec'.format(round(time.time() - start, 2)))

conn.commit()

这给了我一个形状为（1200201，）的数据集的下一个结果：

Original: 1.27 sec
String format: 0.58 sec
String IO: 0.3 sec

关于python - 从HDF5迁移到PostgreSQL，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/41117226/