本文重点

我们前面把支持向量机需要准备的知识大多数都介绍了,之后我们也介绍了支持向量机的目标函数了,接下来我们要对这个目标函数进行优化了。

优化

每天5分钟机器学习算法:支持向量机之硬间隔分类器以及SMO算法-LMLPHP

这就是目标函数,上一节文章中我们从多角度进行了介绍,那么这里就不多说了,下面继续进行处理,构造拉格朗日函数:

每天5分钟机器学习算法:支持向量机之硬间隔分类器以及SMO算法-LMLPHP

然后我们利用之前的强对偶性对其转换:

每天5分钟机器学习算法:支持向量机之硬间隔分类器以及SMO算法-LMLPHP

从最小到最大的转换,可以让我们先优化w,b,也就是下面我们可以看到w和b可以被λ表示,这样就降低了复杂度了,λ和样本数有关,而w和样本特征数有关,所以w和b去表之后,λ就只能样本数有关了,复杂度降低。

对偶完成之后后面会有xi和xj的点积形式,这个符合核函数的使用思路,再接下来的课程中我们可以看到和函数帮助我们完成什么事情

然后对参数 w 和 b 求偏导数:

11-11 07:14