python - Python C扩展中的内存泄漏

这是我第一次为python编写C扩展，并且您可以看到卷积的丑陋且可能效率极低的C ++实现。我的内存管理有问题。每次我在python中调用此函数时，它都会消耗约500MB的内存（对于一批大小为100x112x112x3的内核和大小为3x3x3x64的内核），此后不会释放它。即使这不是类方法，我也要注意引用计数吗？还是我必须在代码中的某个位置手动释放内存？请注意，为了更好地了解，我排除了所有错误检查。谢谢。

PyObject* conv2d(PyObject*, PyObject* args)

{
    PyObject* data;
    PyObject* shape;
    PyObject* kernel;
    PyObject* k_shape;
    int stride;

    PyArg_ParseTuple(args, "OOOOi", &data, &shape, &kernel, &k_shape, &stride);

    Py_ssize_t dims = PyTuple_Size(shape);
    Py_ssize_t kernel_dims = PyTuple_Size(k_shape);

    int shape_c[3];
    int k_shape_c[4];

    for (int i = 0; i < kernel_dims; i++)
    {
        if (i < dims)
        {
            shape_c[i] = PyLong_AsLong(PyTuple_GetItem(shape, i));
        }
        k_shape_c[i] = PyLong_AsLong(PyTuple_GetItem(k_shape, i));
    }

    PyObject* data_item, kernel_item;
    PyObject* ret_array = PyList_New(0);
    double conv_val, channel_sum;

    for (int oc = 0; oc < k_shape_c[3]; oc++)
    {
        for (int row = 0; row < shape_c[0]; row += stride)
        {
            for (int col = 0; col < shape_c[1]; col += stride)
            {
                channel_sum = 0;
                for (int ic = 0; ic < shape_c[2]; ic++)
                {
                    conv_val = 0;
                    for (int k_row = 0; k_row < k_shape_c[0]; k_row++)
                    {
                        for (int k_col = 0; k_col < k_shape_c[1]; k_col++)
                        {
                            data_item = PyList_GetItem(data, row + k_row);
                            if (!data_item)
                            {
                                PyErr_Format(PyExc_IndexError, "Index out of bounds");
                                return NULL;
                            }
                            data_item = PyList_GetItem(data_item, col + k_col);
                            data_item = PyList_GetItem(data_item, ic);
                            kernel_item = PyList_GetItem(kernel, k_row);
                            kernel_item = PyList_GetItem(kernel_item, k_col);
                            kernel_item = PyList_GetItem(kernel_item, ic);
                            kernel_item = PyList_GetItem(kernel_item, oc);
                            conv_val += PyFloat_AsDouble(data_item) * PyFloat_AsDouble(kernel_item);
                        }
                    }
                    channel_sum += conv_val;
                }
                PyList_Append(ret_array, PyFloat_FromDouble(channel_sum));
            }
        }
    }
    return ret_array;
}

最佳答案

泄漏来自：

PyList_Append(ret_array, PyFloat_FromDouble(channel_sum));

PyFloat_FromDouble创建一个新引用，PyList_Append获取该引用的共享所有权（它不会窃取/使用该引用）。使用PyList_Append并希望list拥有自己的引用所有权时，您必须在添加后显式释放引用，例如（省略了错误检查）：

PyObject *pychannel_sum = PyFloat_FromDouble(channel_sum);
PyList_Append(ret_array, pychannel_sum);
Py_DECREF(pychannel_sum);

另一种解决方案（如果合适的话，也是更快的解决方案）是将list预先分配给正确的大小，并用PyList_SetItem / PyList_SET_ITEM填充条目，这两者都窃取了引用，而不是增加引用计数。通常，没有明确提及引用窃取的API不会，并且您需要管理自己的引用计数。

注意在内存方面，单个PyFloat比C double（它们包装）贵很多。在64位系统上，PyFloat中的每个list消耗32个字节（list中的指针为8个字节，PyFloat本身为24个字节），而原始C double为8个字节。

您可能想研究使用Python's array module（创建正确大小/类型的array，使用缓冲区协议对其进行C级查看，然后填充缓冲区）；代码会稍微复杂一点，但是内存使用量将下降4倍。 numpy类型将提供相同的优势（并且可以更灵活地使用结果）。

关于python - Python C扩展中的内存泄漏，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/57143041/