python - 使用SQLite的NumPy数组

我在Python中看到的最常见的SQLite接口(interface)是sqlite3，但是有什么可以与NumPy数组或Recarray一起使用的？我的意思是说，它可以识别数据类型，不需要一行一行地插入，并且提取到NumPy(rec)数组中...？如果有人熟悉，它们类似于RDB或sqldf库中的R的SQL函数(它们将整个表或表的子集导入/导出/追加到R数据表中)。

最佳答案

为什么不尝试 redis ？

提供了您感兴趣的两个平台的驱动程序-python(redis，通过软件包索引)2)和R(rredis，CRAN)。

Redis的天才之处在于它不会神奇地识别NumPy数据类型，并允许您像插入原始Redis数据类型一样插入和提取多维NumPy数组，而是它的天才非常容易，您可以创建这样的只需几行代码即可实现界面。

(至少)有一些关于python中的redis的教程； DeGizmo blog上的一个特别好。

import numpy as NP

# create some data
A = NP.random.randint(0, 10, 40).reshape(8, 5)

# a couple of utility functions to (i) manipulate NumPy arrays prior to insertion
# into redis db for more compact storage &
# (ii) to restore the original NumPy data types upon retrieval from redis db
fnx2 = lambda v : map(int, list(v))
fnx = lambda v : ''.join(map(str, v))

# start the redis server (e.g. from a bash prompt)
$> cd /usr/local/bin      # default install directory for 'nix
$> redis-server           # starts the redis server

# start the redis client:
from redis import Redis
r0 = Redis(db=0, port=6379, host='localhost')       # same as: r0 = Redis()

# to insert items using redis 'string' datatype, call 'set' on the database, r0, and
# just pass in a key, and the item to insert
r0.set('k1', A[0,:])

# row-wise insertion the 2D array into redis, iterate over the array:
for c in range(A.shape[0]):
    r0.set( "k{0}".format(c), fnx(A[c,:]) )

# or to insert all rows at once
# use 'mset' ('multi set') and pass in a key-value mapping:
x = dict([sublist for sublist in enumerate(A.tolist())])
r0.mset(x1)

# to retrieve a row, pass its key to 'get'
>>> r0.get('k0')
  '63295'

# retrieve the entire array from redis:
kx = r0.keys('*')           # returns all keys in redis database, r0

for key in kx :
    r0.get(key)

# to retrieve it in original form:
A = []
for key in kx:
    A.append(fnx2(r0.get("{0}".format(key))))

>>> A = NP.array(A)
>>> A
  array([[ 6.,  2.,  3.,  3.,  9.],
         [ 4.,  9.,  6.,  2.,  3.],
         [ 3.,  7.,  9.,  5.,  0.],
         [ 5.,  2.,  6.,  3.,  4.],
         [ 7.,  1.,  5.,  0.,  2.],
         [ 8.,  6.,  1.,  5.,  8.],
         [ 1.,  7.,  6.,  4.,  9.],
         [ 6.,  4.,  1.,  3.,  6.]])

关于python - 使用SQLite的NumPy数组，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/7901853/