1 感知机历史

在19世纪60年代由Frank Rosenblatt提出，是神经网络和支持向量机的基础。

ML 感知机（Perceptrons）-LMLPHP

2 模型表示

在hinton的课件里面给出的是Binary threshold neurons，y取值是{0,1}

ML 感知机（Perceptrons）-LMLPHP

在《统计学习方法》中给出的模型公式：

ML 感知机（Perceptrons）-LMLPHP

几何解释：线性方程

ML 感知机（Perceptrons）-LMLPHP

对应于特征空间中的一个超平面S

考虑输入空间中任一点到超平面的距离：

ML 感知机（Perceptrons）-LMLPHP

误分类点到超平面的距离：

ML 感知机（Perceptrons）-LMLPHP

所有误分类点到超平面总距离：

ML 感知机（Perceptrons）-LMLPHP

不考虑 ML 感知机（Perceptrons）-LMLPHP ，得到感知机的代价函数：

ML 感知机（Perceptrons）-LMLPHP

这里M为误分类点集合。

4.1梯度下降法

ML 感知机（Perceptrons）-LMLPHP

更新参数：

ML 感知机（Perceptrons）-LMLPHP

注意这里与线性回归逻辑回归等不同在于，更新参数时，是误分类点集，而不是全集。

4.2对偶形式

有上面的原始形式

ML 感知机（Perceptrons）-LMLPHP

假设初始值w,b为0，最后学习得到的参数可表示为：

ML 感知机（Perceptrons）-LMLPHP

其 ML 感知机（Perceptrons）-LMLPHP ，N为总样本个数。

感知机模型 ML 感知机（Perceptrons）-LMLPHP

梯度更新算法变为：

在对偶形式中，为了方便，可以将训练集中实例间的内积先计算出来用矩阵形式存储，这个矩阵也就是所谓的Gram矩阵

ML 感知机（Perceptrons）-LMLPHP

这些限制来源于所使用的特征，感知机不会自动学习特征，必须通过人类手工设置特征进行学习，所以他的能力也就和特征有关。还有感知机是一个线性模型，他无法解决非线性问题。下面是

ML 感知机（Perceptrons）-LMLPHP