我是神经网络 Realm 的新手,我想知道深度信念网络和卷积网络之间的区别。
另外,是否存在由深层信仰和卷积神经网络相结合的深度卷积网络?

这是我到目前为止收集的。如果我错了,请纠正我。

对于图像分类问题,深度信任网络具有许多层,每个层都使用贪婪的逐层策略进行训练。
例如,如果我的图像尺寸是50 x 50,并且我想要一个具有4层的深度网络,即

  • 输入层
  • 隐藏层1(HL1)
  • 隐藏第2层(HL2)
  • 输出层

  • 我的输入层将有50 x 50 = 2500个神经元,HL1 = 1000个神经元(例如),HL2 = 100个神经元(例如),输出层= 10个神经元,
    为了训练输入层和HL1之间的权重(W1),我使用自动编码器(2500-1000-2500)并学习了2500 x 1000的W1(这是无监督学习)。然后,我将所有图像转发到第一个隐藏层以获取一组特征,然后使用另一个自动编码器(1000-100-1000)获得下一组特征,最后使用softmax层(100-10)进行分类。 (仅学习最后一层的权重(HL2-输出是softmax层)是监督学习)。

    (我可以使用RBM代替自动编码器)。

    如果使用卷积神经网络解决了相同的问题,那么对于50x50的输入图像,我将仅使用7 x 7的补丁开发一个网络(例如)。我的图层是
  • 输入层(7 x 7 = 49个神经元)
  • HL1(用于25个不同功能的25个神经元)-(卷积层)
  • 池化层
  • 输出层(Softmax)

  • 为了学习权重,我从尺寸为50 x 50的图像中提取了7 x 7色块,并通过卷积层前馈,因此我将拥有25个不同的特征图,每个尺寸为(50-7 + 1)x(50-7) +1)= 44 x 44。

    然后,我说一个11x11的窗口用于汇集手,因此获得25个大小为(4 x 4)的要素图作为汇集层的输出。我使用这些特征图进行分类。

    在学习权重时,我没有像在深度信念网络(无监督学习)中那样使用分层策略,而是使用监督学习并同时学习所有层的权重。这是正确的还是还有其他方法可以学习权重?

    我所理解的正确吗?

    因此,如果我想使用DBN进行图像分类,则应该将所有图像调整为特定大小(例如200x200),并在输入层中包含那么多神经元,而在使用CNN的情况下,我只能在较小的图像块上进行训练输入(例如,对于尺寸为200x200的图像,为10 x 10)并将学习到的权重卷积到整个图像上?

    DBN是否提供比CNN更好的结果,还是仅取决于数据集?

    谢谢。

    最佳答案

    一般而言,DBN是生成神经网络,将限制的玻尔兹曼机器(RBM)堆叠在一起。您可以将RBM视为生成式自动编码器;如果您想要一个深层的信念网,则应该堆叠RBM,而不是简单的自动编码器,因为Hinton和他的学生Yeh证明了堆叠RBM会导致S型信念网。

    在当前有关基准计算机视觉数据集(例如MNIST)的文献中,卷积神经网络的性能优于DBN。如果数据集不是计算机视觉的,那么DBN绝对可以表现更好。从理论上讲,DBN应该是最好的模型,但是目前很难准确估计联合概率。您可能对Lee等感兴趣。 al(2009)在卷积深度信念网络上的工作,希望将两者结合起来。

    关于machine-learning - 深度信念网络与卷积神经网络,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/24545725/

    10-12 17:39