python - 使用numpy.take进行类型转换错误

我有一个存储65536 uint8值的查找表(LUT):

lut = np.random.randint(256, size=(65536,)).astype('uint8')

我想使用此LUT来转换uint16 s数组中的值:

arr = np.random.randint(65536, size=(1000, 1000)).astype('uint16')

我想就地进行转换，因为最后一个数组可能会变得很大。当我尝试它时，会发生以下情况:

>>> np.take(lut, arr, out=arr)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\site-packages\numpy\core\fromnumeric.py", line 103, in take
    return take(indices, axis, out, mode)
TypeError: array cannot be safely cast to required type

而且我不知道发生了什么。我知道，没有out参数，返回的类型与lut相同，所以uint8。但是，为什么不能将uint8强制转换为uint16呢？如果您问numpy:

>>> np.can_cast('uint8', 'uint16')
True

显然有以下作品:

>>> lut = lut.astype('uint16')
>>> np.take(lut, arr, out=arr)
array([[173, 251, 218, ..., 110,  98, 235],
       [200, 231,  91, ..., 158, 100,  88],
       [ 13, 227, 223, ...,  94,  56,  36],
       ...,
       [ 28, 198,  80, ...,  60,  87, 118],
       [156,  46, 118, ..., 212, 198, 218],
       [203,  97, 245, ...,   3, 191, 173]], dtype=uint16)

但这也可以:

>>> lut = lut.astype('int32')
>>> np.take(lut, arr, out=arr)
array([[ 78, 249, 148, ...,  77,  12, 167],
       [138,   5, 206, ...,  31,  43, 244],
       [ 29, 134, 131, ..., 100, 107,   1],
       ...,
       [109, 166,  14, ...,  64,  95, 102],
       [152, 169, 102, ..., 240, 166, 148],
       [ 47,  14, 129, ..., 237,  11,  78]], dtype=uint16)

这确实没有任何意义，因为现在将int32强制转换为uint16，这绝对不是一件安全的事情:

>>> np.can_cast('int32', 'uint16')
False

如果将lut的dtype设置为uint16，uint32，uint64，int32或int64中的任何内容，我的代码将起作用，但是对于uint8，int8和int16失败。

我是否想念某些东西，或者只是将其弄乱了？

也欢迎使用解决方法...由于LUT并不大，所以我想让它的类型与数组的类型匹配并不是一件坏事，即使它占用了两倍的空间，但这样做并不对劲。 ..

有没有办法告诉numpy不用担心类型转换安全？

最佳答案

有趣的问题。 numpy.take(lut, ...)转换为lut.take(...)，其源代码可以在这里查看:

https://github.com/numpy/numpy/blob/master/numpy/core/src/multiarray/item_selection.c#L28

我相信抛出了at line 105异常:

obj = (PyArrayObject *)PyArray_FromArray(out, dtype, flags);
if (obj == NULL) {
    goto fail;
}

在您的情况下out是arr但dtype是lut之一，即uint8。因此，它尝试将arr转换为uint8，但失败。我不得不说我不确定为什么需要这样做，只是指出了它的原因。出于某种原因，take似乎假设您要作为输出数组具有与dtype相同的lut。

顺便说一句，在许多情况下，会实际调用PyArray_FromArray来创建一个新数组，而替换将不在中。例如if you call take with mode='raise' (默认值，以及示例中发生的情况)就是这种情况，或者是lut.dtype != arr.dtype就是这种情况。好吧，至少应该这样，而且我无法解释为什么，当您将lut转换为int32时，输出数组仍为uint16!这对我来说是一个谜-也许与NPY_ARRAY_UPDATEIFCOPY标志有关(另请参阅here)。

底线:

numpy的行为确实很难理解...也许其他人会提供一些洞察力，说明为什么它会执行

我不会尝试就地处理arr-似乎在大多数情况下，都是在幕后创建了一个新数组。我只需要使用arr = lut.take(arr)-顺便说一句，它将最终释放arr先前使用的一半内存。

关于python - 使用numpy.take进行类型转换错误，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/14782135/