首页 > 代码库 > 支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

在之前为了寻找最有分类器,我们提出了例如以下优化问题:

技术分享

在这里我们能够把约束条件改写成例如以下:

技术分享

首先我们看以下的图示:

技术分享

非常显然我们能够看出实线是最大间隔超平面,如果×号的是正例,圆圈的是负例。在虚线上的点和在实线上面的两个一共这三个点称作支持向量。如今我们结合KKT条件分析下这个图。

技术分享

我们从式子技术分享和式子技术分享能够看出假设技术分享那么技术分享

这个也就说明技术分享时。w处于可行域的边界上,这时才是起作用的约束。

 

1、那我们如今能够构造拉格朗日函数例如以下:

技术分享

注意到这里仅仅有技术分享没有技术分享是由于原问题中没有等式约束,仅仅有不等式约束。

2、接下来我们对w和b分别求偏导数。

    技术分享

    技术分享

    并得到

    技术分享

3、将上式带回到拉格朗日函数中得到:

技术分享

 

因为技术分享,因此简化为

    技术分享

 

4、如今我们得到了关于w和b的能够最小化的等式。我们在联合技术分享这个參数,当然他的条件还是技术分享>=0,如今我们能够得到例如以下的二元优化等式了:

技术分享

5、如今你还必须知道我们之前解说的条件一是技术分享,二是KKT条件:

技术分享

 

非常显然存在w使得对于全部的i,技术分享。因此,一定存在技术分享使得技术分享是原问题的解。技术分享是对偶问题的解。

    假设求出了技术分享(也就是技术分享),依据

技术分享

就可以求出w(也是技术分享,原问题的解)。然后

    技术分享

    就可以求出b。即离超平面近期的正的函数间隔要等于离超平面近期的负的函数间隔。

 

6、如今我们在看另外一个问题:

 

因为技术分享

所以技术分享

这里我们将向量内积技术分享表示为技术分享

如今能够看出我要计算等式的话就仅仅须要计算向量的内积就好了。同一时候要是技术分享 在支持向量上面的话。那么技术分享,这样就更简单了,因此非常多的值都是0。

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)