在卷积神经网络模型的背景下,我曾经听到这样的说法:
卷积的一个理想特性是它们是
平移等变以及空间池化的介绍
会破坏翻译等效的属性。
这句话是什么意思,为什么?
最佳答案
您很可能是从Bengio's book听到的。我会尽力给你我的解释。
粗略地说,如果f(g(x)) = g(f(x))
,则两个变换是等变的。对于卷积和平移而言,如果您convolve(translate(x))
,则与您translate(convolve(x))
相同。这是需要的,因为如果卷积会在图像中找到猫的眼睛,那么如果您移动图像,它将找到那只眼睛。
您可以自己查看(我使用1d转换只是因为它很容易计算东西)。让v = [4, 1, 3, 2, 3, 2, 9, 1]
与k = [5, 1, 2]
卷积。结果将是[27, 12, 23, 17, 35, 21]
现在,让我们通过添加v' = [8] + v
来移动v。与k
卷积,您将得到[46, 27, 12, 23, 17, 35, 21]
。当您得到结果时,该结果只是先前的结果之前附加了一些新内容。
现在是有关空间池化的部分。让我们在第一个结果和第二个结果上进行大小为3的最大池化。在第一种情况下,您将得到[27, 35]
,在第二种情况下,您将得到[46, 35, 21]
。如您所见,27
不知何故消失了(结果已损坏)。如果您进行平均池化,它将更容易损坏。
附言max / min池化是所有池化中翻译上最不变的(如果可以这样说,如果您比较非腐败元素的数量)。