一、感知机算法简介:
感知机算法类似逻辑回归算法的轻量版,就是找出一个简单的分类超平面把正负类样本分离开来;
二、感知机判别函数:
f(x) = sign(w * x + b)
z = w * x + b
推导:由点到超平面的公式:
|w * x + b| / ||w||
可知,w * x + b > 0为正类(+1),w * x + b < 0为负类(-1);
f(x)中的sign函数属于单位阶跃函数,当z > 0时返回+1,当z < 0时返回-1;
三、感知机的代价函数:
感知机的学习策略是找到一个分类超平面将正负类样本进行二分类,满足误分类点(分类错误的样本点)数目最小的思想;由于这样的代价函数的w,b不是连续可导的,所以我们转而求误分类点到超平面的总距离和最小,二者效用等同;
- yi * ( w * x + b) > 0 =》 属于误分类点;
J = -1/||w|| * ∑ [y * (w * x + b) ]
四、感知机最优化问题:
感知机中的每次迭代是对训练集的所有样本点进行遍历,比较预测值和真实的目标值是否有误差,有的话会对w,b进行更新;