python - 哪个SSIM是正确的: skimage.metrics.structural_similarity()？

Stackoverflow社区，
我正在尝试在Python上的两个bmp图像之间计算SSIM(结构相似性)。我已经在skimage python库中实现了structural_similarity()函数，并从原始MatLab实现中找到了等效的代码hosted here。暗示是正确的:

def structuralSimilarityIndex(ref_image, impaired_image, cs_map=False):

    window = Metric.fSpecialGauss(constant.SSIM_FILTER_SIZE,
                                  constant.SSIM_FILTER_SIGMA)
    C1 = (constant.SSIM_Constant_1 * constant.PIXEL_MAX) ** 2
    C2 = (constant.SSIM_Constant_2 * constant.PIXEL_MAX) ** 2

    mu1 = signal.fftconvolve(window, ref_image, mode='valid')
    mu2 = signal.fftconvolve(window, impaired_image, mode='valid')

    mu1_sq = mu1 * mu1
    mu2_sq = mu2 * mu2
    mu1_mu2 = mu1 * mu2

    sigma1_sq = signal.fftconvolve(
        window, ref_image*ref_image, mode='valid') - mu1_sq
    sigma2_sq = signal.fftconvolve(
        window, impaired_image*impaired_image, mode='valid') - mu2_sq
    sigma12 = signal.fftconvolve(
        window, ref_image*impaired_image, mode='valid') - mu1_mu2

    if cs_map:
        return (((2 * mu1_mu2 + C1) * (2 * sigma12 + C2)) / ((mu1_sq + mu2_sq + C1) * (sigma1_sq + sigma2_sq + C2)), (2.0 * sigma12 + C2) / (sigma1_sq + sigma2_sq + C2))
    else:
        return np.mean(((2 * mu1_mu2 + C1) * (2 * sigma12 + C2)) / ((mu1_sq + mu2_sq + C1) * (sigma1_sq + sigma2_sq + C2)))

我正在使用这段代码读取图像:

ref_image = np.asfarray(Image.open('ref_image.bmp').convert('L'))
impaired_image = np.asfarray(Image.open('impaired_image.bmp').covert('L)

dtype和ref_image的输入图像形状和impaired_image分别为:

我已经使用相同的条件和相同的输入图像进行了测试，如下所示:

# Using the above code
structuralSimilarityIndex(ref_image, impaired_image, cs_map=False)

# Using the function imported from skimage.metrics
structural_similarity(ref_image, impaired_image, gaussian_weights=False, use_sample_covariance=False)

结果有很大不同，这里是结果:
来自Skimage python库的SSIM:

来自上面代码的SSIM:

编辑:
我已经添加了阅读和调用代码
上面的Python代码来自signal processing library，据作者称，该函数试图精确模拟ssim.m的功能，这是SSIM作者提供的MATLAB
更新:
我已经测试了在MatLab上在相同图像上编写的原始代码，结果如下:

这与上面给出的Python实现的结果相差不远。

最佳答案

我在scikit-image Github存储库上打开了一个问题，得到了答案。在这里，答案没有任何变化，您可以找到它here:

我认为这里的主要问题是，从PIL计算图像的方式会导致浮点图像，但其值在[0，255.0]范围内。当输入为浮点数时，skimage将为data_range假定范围[-1.0，1.0]，因此您将需要手动指定data_range = 255。

另外，请参阅文档字符串的“注释”部分，以获取有关将gaussian_weights = True，sigma = 1.5设置为与Wang等人的Matlab脚本更紧密匹配的建议。 al。 (我认为最近的Matlab也有自己的内置SSIM实现，但是我没有尝试过与这种情况进行比较，也不知道它是否完全相同)。

ref_image = np.asfarray(Image.open('avion.bmp').convert('L'))
impaired_image = np.asfarray(Image.open('avion_jpeg_r5.bmp').convert('L'))
structural_similarity(ref_image, impaired_image, multichannel=True, gaussian_weights=True, sigma=1.5, use_sample_covariance=False, data_range=255)

或者，您可以使用skimage.io.imread和rgb2gray读取数据并将其转换为灰度。在这种情况下，将为您将值缩放到[0，1.0]之内，并且data_range应该设置为1.0。

from skimage.io import imread
from skimage.color import rgb2gray
ref_image = imread('avion.bmp')
ref_image = rgb2gray(ref_image)
impaired_image = imread('avion_jpeg_r5.bmp')
impaired_image = rgb2gray(impaired_image)

structural_similarity(ref_image, impaired_image, multichannel=True, gaussian_weights=True, sigma=1.5, use_sample_covariance=False, data_range=1.0)

我认为上述两种情况之间的细微差异可能是由于rgb2gray使用的亮度转换与PIL的convert方法不同。