python-2.7 - 在 Pandas 中为read_sql指定dtypes

我想指定在执行pandas.read_sql时返回的dtypes。我特别想节省内存并让float值返回为np.float32而不是np.float64。我知道以后可以使用astype（np.float32）进行转换，但这不能解决初始查询中的大内存需求的问题。在我的实际代码中，我将提取8400万行，而不是此处显示的5行。 pandas.read_csv允许将dtypes指定为dict，但是我看不到用read_sql做到这一点。

我正在使用MySQLdb和Python 2.7。

顺便说一句，read_sql似乎在运行时使用的内存要多于最终DataFrame存储所需的内存（大约2倍）。

In [70]: df=pd.read_sql('select ARP, ACP from train where seq < 5', connection)

In [71]: df
Out[71]:
   ARP      ACP
0  1.17915  1.42595
1  1.10578  1.21369
2  1.35629  1.12693
3  1.56740  1.61847
4  1.28060  1.05935


In [72]: df.dtypes
Out[72]:
ARP    float64
ACP    float64
dtype: object

最佳答案

那cast（）和convert（）呢？

'SELECT cast(ARP as float32()), cast (ACP as float32()) from train where seq < 5'

或类似的东西。

http://www.smallsql.de/doc/sql-functions/system/convert.html

关于python-2.7 - 在 Pandas 中为read_sql指定dtypes，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/39000481/