python - 传递/返回Cython Memoryviews与NumPy数组

我正在编写Python代码来加速二进制图像中带标签对象的区域属性功能。以下代码将在给定对象索引的情况下计算二进制图像中带标签对象的边界像素数。 main（）函数将循环遍历二进制图像“遮罩”中的所有标记对象，并计算每个像素的边框像素数。

我想知道最好的方法是在此Cython代码中传递或返回变量。变量位于NumPy数组中或键入的Memoryviews中。我搞砸了以不同格式传递/返回变量的方法，但是无法推断出最佳/最有效的方法是什么。我是Cython的新手，因此Memoryviews对我来说仍然相当抽象，并且两种方法之间是否存在差异仍然是一个谜。我正在使用的图像包含100,000+个带有标签的对象，因此诸如此类的操作需要相当高效。

总结一下：

什么时候/应该将变量作为类型的Memoryview而不是NumPy数组传递/返回，以便进行非常重复的计算？有没有最好的方法，或者它们是完全一样的？

%%cython --annotate

import numpy as np
import cython
cimport numpy as np

DTYPE = np.intp
ctypedef np.intp_t DTYPE_t

@cython.boundscheck(False)
@cython.wraparound(False)
def erode(DTYPE_t [:,:] img):

    # Image dimensions
    cdef int height, width, local_min
    height = img.shape[0]
    width = img.shape[1]

    # Padded Array
    padded_np = np.zeros((height+2, width+2), dtype = DTYPE)
    cdef DTYPE_t[:,:] padded = padded_np
    padded[1:height+1,1:width+1] = img

    # Eroded image
    eroded_np = np.zeros((height,width),dtype=DTYPE)
    cdef DTYPE_t[:,:] eroded = eroded_np

    cdef DTYPE_t i,j
    for i in range(height):
        for j in range(width):
            local_min = min(padded[i+1,j+1], padded[i,j+1], padded[i+1,j],padded[i+1,j+2],padded[i+2,j+1])
            eroded[i,j] = local_min
    return eroded_np


@cython.boundscheck(False)
@cython.wraparound(False)
def border_image(slice_np):

    # Memoryview of slice_np
    cdef DTYPE_t [:,:] slice = slice_np

    # Image dimensions
    cdef Py_ssize_t ymax, xmax, y, x
    ymax = slice.shape[0]
    xmax = slice.shape[1]

    # Erode image
    eroded_image_np = erode(slice_np)
    cdef DTYPE_t[:,:] eroded_image = eroded_image_np

    # Border image
    border_image_np = np.zeros((ymax,xmax),dtype=DTYPE)
    cdef DTYPE_t[:,:] border_image = border_image_np
    for y in range(ymax):
        for x in range(xmax):
            border_image[y,x] = slice[y,x]-eroded_image[y,x]
    return border_image_np.sum()


@cython.boundscheck(False)
@cython.wraparound(False)
def main(DTYPE_t[:,:] mask, int numobjects, Py_ssize_t[:,:] indices):

    # Memoryview of boundary pixels
    boundary_pixels_np = np.zeros(numobjects,dtype=DTYPE)
    cdef DTYPE_t[:] boundary_pixels = boundary_pixels_np

    # Loop through each object
    cdef Py_ssize_t y_from, y_to, x_from, x_to, i
    cdef DTYPE_t[:,:] slice
    for i in range(numobjects):
        y_from = indices[i,0]
        y_to = indices[i,1]
        x_from = indices[i,2]
        x_to = indices[i,3]
        slice = mask[y_from:y_to, x_from:x_to]
        boundary_pixels[i] = border_image(slice)

    return boundary_pixels_np

最佳答案

Memoryview是Cython的更新版本，旨在与原始np.ndarray语法相比进行改进。因此，它们是首选。但是，使用它通常不会产生太大差异。以下是一些注意事项：

速度

对于速度，它几乎没有什么变化-我的经验是，作为函数参数的memoryviews稍微慢一些，但是几乎不必担心。

概论

Memoryviews设计为可与具有Python缓冲区接口的任何类型一起使用（例如，标准库array模块）。键入np.ndarray仅适用于numpy数组。原则上，memorviews可以支持偶数wider range of memory layouts，这可以使与C代码的接口更容易（实际上，我从未真正看到过这种用法）。

作为返回值

当从Cython返回数组以编码Python时，用户可能会更喜欢使用numpy数组而不是使用memoryview。如果您正在使用memoryviews，则可以执行以下任一操作：

return np.asarray(mview)
return mview.base

易于编译

如果使用的是np.ndarray，则必须在np.get_include()文件中使用setup.py设置包含目录。您不必使用memoryviews来执行此操作，这通常意味着您可以跳过setup.py并仅使用cythonize命令行命令或pyximport进行更简单的项目。

并行化

与numpy数组相比，这是memoryviews的一大优势（如果要使用它）。它不需要全局解释器锁来获取memoryview的切片，但它需要一个numpy数组。这意味着以下代码大纲可以与memoryview并行工作：

cdef void somefunc(double[:] x) nogil:
     # implementation goes here

cdef double[:,:] 2d_array = np.array(...)
for i in prange(2d_array.shape[0]):
    somefunc(2d_array[i,:])

如果您不使用Cython的并行功能，则此方法不适用。

cdef类

您可以将memoryviews用作cdef类的属性，但不能用作np.ndarray的属性。您可以（当然）使用numpy数组作为无类型的object属性。

关于python - 传递/返回Cython Memoryviews与NumPy数组，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/49803899/