首页 > 代码库 > svm入门的疑惑

svm入门的疑惑

1,为什么函数间隔能变成1

SVM的思想基础就是希望不同类别的样本能分的更开一些。用数学表述就是距离更大。

距离分为分为两种:函数距离和集合距离。

函数距离技术分享

从公式可以看到,函数距离其实可以通过同步放大缩小W和B实现。

几何距离:    技术分享

很容易知道他们之间的关系是:

技术分享

我们希望的距离最大,其实是几何距离最大

所以,这里我们通过缩放,固定函数距离为1,那么,就可以固定我们想要最大化的距离为:技术分享

2,什么是凸优化

凸优化就是凸函数在凸集上的优化。

凸函数:导数函数递增的函数(即二次求导永远大于零的函数)

凸集:集合内两点连线上的点永远在集合内的集合。

凸优化一个很好的特质:局部极值,就是全局的极值。

 

3,什么是对偶问题。

对偶问题就是将限制条件变换顺序。

技术分享

4,为什么要引入KKT条件

不是所有的顺序变换都能使等号成立,在这里,如果需要等号成立,就需要引入KKT条件。

 

参考资料:

svm简要推到:http://www.cnblogs.com/daniel-D/p/3237468.html

拉格朗日对偶:http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495689.html

svm入门的疑惑