上周,杰弗里·欣顿(Geoffrey Hinton)和他的团队发表了papers,该书引入了一种基于胶囊的全新类型的神经网络。但是我仍然不了解工作的架构和机制。有人可以用简单的话解释它是如何工作的吗?

最佳答案

卷积神经网络的主要优点之一是它们对翻译的不变性。但是,这种不变性是有代价的,也就是说,它没有考虑不同功能之间的相互关系。例如,如果我们有一张脸的图片,那么CNN将很难区分嘴部特征和鼻子特征之间的关系。最大池化层是造成此影响的主要原因。因为当我们使用最大池化层时,我们会丢失嘴巴和噪音的精确位置,而无法说出它们之间的相互关系。


胶囊试图通过两种方式保持CNN的优势并解决这一缺陷。



不变性:引用此paper



  当胶囊正常工作时,
  存在的实体是局部不变的-它不会随着
  实体在可能出现的流形上移动
  胶囊覆盖的有限域。


换句话说,胶囊会考虑我们正在寻找的特定特征的存在,例如嘴或鼻子。此属性确保胶囊与CNN一样翻译不变。


等方差:不是将特征平移不变,而是将Capsule使它平移等距或视点等距。换句话说,随着特征移动并改变其在图像中的位置,特征向量表示也将以使其等变的相同方式发生变化。胶囊的这种特性试图解决我一开始提到的最大池化层的缺点。

关于machine-learning - Geoffrey Hinton的胶囊网络如何工作?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/47115595/

10-12 16:39