python - 如何在Python数据框中读取大块数据？

我想读取文件f到数据帧的大块。这是我使用的代码的一部分。

for i in range(0, maxline, chunksize):
df = pandas.read_csv(f,sep=',', nrows=chunksize, skiprows=i)
df.to_sql(member, engine, if_exists='append',index= False, index_label=None, chunksize=chunksize)

我得到了错误:



该代码仅在chunksize> = maxline(文件f中的总行)时起作用。但是，在我的情况下，chunksize
请告知修复程序。

最佳答案

我认为最好在 chunksize 中使用参数read_csv。另外，将 concat 与参数ignore_index一起使用，因为需要避免index中的重复项:

chunksize = 5
TextFileReader = pd.read_csv(f, chunksize=chunksize)

df = pd.concat(TextFileReader, ignore_index=True)

参见pandas docs。

关于python - 如何在Python数据框中读取大块数据？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/39384539/