一、感知机算法简介:

  感知机算法类似逻辑回归算法的轻量版,就是找出一个简单的分类超平面把正负类样本分离开来;

二、感知机判别函数:

  f(x) = sign(w * x + b)

  z = w * x + b

  推导:由点到超平面的公式:

    |w * x + b| / ||w||

    可知,w * x + b > 0为正类(+1),w  *  x + b < 0为负类(-1);

  f(x)中的sign函数属于单位阶跃函数,当z > 0时返回+1,当z < 0时返回-1;

三、感知机的代价函数:

  感知机的学习策略是找到一个分类超平面将正负类样本进行二分类,满足误分类点(分类错误的样本点)数目最小的思想;由于这样的代价函数的w,b不是连续可导的,所以我们转而求误分类点到超平面的总距离和最小,二者效用等同;

  - yi * ( w * x + b)  > 0   =》  属于误分类点;

  J = -1/||w|| * ∑ [y * (w * x + b) ]

四、感知机最优化问题:

  感知机中的每次迭代是对训练集的所有样本点进行遍历,比较预测值和真实的目标值是否有误差,有的话会对w,b进行更新;

01-18 12:59
查看更多