python - 为什么该代码段无法在Google Colab上运行？

我使用提供35 GB RAM的TPU。在尝试运行此代码片段之前，我有20 GB的可用RAM。但是由于ram低（我说需要超过35 GB），我无法运行该代码段，我使用了6 GB数据集。为什么这段代码占据了这么多位置？我使用了垃圾收集器，并删除了之前使用的数据框。我该怎么做才能使该代码正常工作？

Gen RAM Free：26.4 GB |进程大小：156.4 MB
GPU RAM免费：16280MB |已用：0MB |利用率0％|总计16280MB

seed = 7
test_size = 0.4
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size)
gc.collect()
model=KNeighborsClassifier(n_neighbors=6,algorithm='kd_tree',n_jobs=25)
model.fit(X_train, y_train)

最佳答案

Python中的数据科学工作流往往占用大量内存。例如，如果您的输入数据X, Y消耗6GB，则该行

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size)

将消耗另外6 GB（每个创建的子集不是原始阵列的视图，而是具有新内存占用的新阵列对象）。

在KNeighborsClassifier内可以创建其他数据副本（例如，该算法中的代码要求输入数组为连续的C序float64数组，如果您的数据不符合该条件，则将创建副本）。

通常，基于numpy的数据科学工作流的一个很好的经验法则是，您需要大约是所处理原始数据大小的4-5倍的内存，除非您非常注意防止数据复制。

关于python - 为什么该代码段无法在Google Colab上运行？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/59413992/