2006 年,Hinton 等人基于受限波尔兹曼机(Re- stricted Boltzmann Machines, RBMs)提出的深度信念 网络(Deep Belief Networks, DBNs)是深度学习理论在 机器学习领域打响的第一枪,并成为了其后至今深度学 习算法的主要框架。在该算法中,DBN 由若干层 RBM 级联而成,得益于对比散度(Contrastive Divergence, CD)的高效近似算法,DBN 绕过了多隐层神经网络整 体训练的难题,将其简化为多个 RBM 的训练问题,这 样使得多层神经网络的识别效果和计算性能得到显著提 升。理论和实践经验也表明,DBN 能够较好的提取出训 练数据中的层次化结构性特征,为机器学习中数据特征 选取提供了新的思路。本文主要梳理 RBM 和 DBN 的 算法原理和实现过程,并给出示例程序。
笔记全文见http://pan.baidu.com/s/1hspszfm。需要说明的是，这篇笔记没有写完，因近来接连收到询问这篇笔记的邮件，才想起这篇差点被我遗忘的两年前写的文稿。