python - Python-处理后将列表分块到数据框中

我正在使用块函数对ML的数据进行预处理，因为我的数据相当大。

数据处理后，我尝试将处理后的数据作为新列“块”添加回原始数据帧中，这给我带来了内存错误，因此我试图一次将块加载到数据帧中，但仍然得到内存错误：

MemoryError: Unable to allocate array with shape (414, 100, 32765) and data type float64

这是我的数据：

 Antibiotic  ...                                             Genome
0       isoniazid  ...  ccctgacacatcacggcgcctgaccgacgagcagaagatccagctc...
1       isoniazid  ...  gggggtgctggcggggccggcgccgataaccccaccggcatcggcg...
2       isoniazid  ...  aatcacaccccgcgcgattgctagcatcctcggacacactgcacgc...
3       isoniazid  ...  gttgttgttgccgagattcgcaatgcccaggttgttgttgccgaga...
4       isoniazid  ...  ttgaccgatgaccccggttcaggcttcaccacagtgtggaacgcgg...

这是我当前的代码：

lookup = {
  'a': 0.25,
  'g': 0.50,
  'c': 0.75,
  't': 1.00,
  'A': 0.25,
  'G': 0.50,
  'C': 0.75,
  'T': 1.00
  # z: 0.00
}


dfpath = 'C:\\Users\\CAAVR\\Desktop\\Ison.csv'
dataframe = pd.read_csv(dfpath, chunksize=100)

chunk_list = []
def preprocess(chunk):
  processed_chunk = chunk['Genome'].apply(lambda bps: pd.Series([lookup[bp] if bp in lookup else 0.0 for bp in bps.lower()])).values
  return processed_chunk;


for chunk in dataframe:
  chunk_filter = preprocess(chunk)
  chunk_list.append(chunk_filter)
  chunk_array = np.asarray(chunk_list)

for chunk in chunk_array:
  dataframe1 = dataframe.copy()
  dataframe1["Chunk"] = chunk_array


dataframe1.to_csv(r'C:\\Users\\CAAVR\\Desktop\\chunk.csv')

如果您需要更多信息，请告诉我。谢谢

最佳答案

我建议不要将内存中的所有块合并在一起，这只会使您回到内存不足的问题，而是建议将每个块分别写出。

如果以追加模式（f = open('out.csv', 'a')）打开文件，则可以多次执行dataframe.to_csv(f)。第一次编写列时，以后的调用会执行dataframe.to_csv(f, header=False)，因为您之前已经编写了列标题。

关于python - Python-处理后将列表分块到数据框中，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/60176301/