此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》
（一）
PLA算法是基本的binary Classification算法。
一个基本的问题是，对于银行，假设我知道用户的年龄、性别、工作、工资，那么应不应该发信用卡给他？
那么它在二维空间里就是一条分割平面的直线。
如何从拥有无限多h的H中选择g？
上述算法的一种实现是：
从上述算法中可以知道：（以二维空间为例）如果没有一条直线能够完全的分开数据点，即：输入数据不是线性可分的，那么上述算法永远不会停止。一种解决方法是：
（二）
假设我们的输入数据是线性可分的，那么这个算法有：
（1）随着迭代次数的增加，Wt越来越完美，直到可以完全分割输入数据集D；
（2）迭代多少次才能完全分开数据集D呢？也即：PLA算法的收敛速度是多少呢？
其中 const= ρ/R，R与ρ为：
下面是证明：
PLA算法小结（优缺点）
（三）Weight Pocket Algorithm
因为我们的错误衡量标准多种多样，当我们更换错误衡量标准如下时：