一、最大分类间隔

为了保证把数据很好的分开，并且增大对噪声的容忍度，最好是距离分类面的最近分类点，到分类面的距离为最大

即求得最大间距的w，并且保证所有点分类正确，还要所有点到分类面的距离和为最小

为了计算距离，把w0和x0从特征向量中分离出来，令b=w0，x0=1就去掉了，变为

假设已经有了一个最大间隔的分类面，分类面上的点x‘和x‘‘有，

则x到平面的距离表示为

对于分类正确的点，去掉绝对值可得距离为

解决目标变为

令

并且将 1/w 取倒数变为求的最大值，则最终解决条件变为

二、解决问题

以上的解决条件变为解决二次规划的问题，二次规划的标准形式为

要解决的问题表示为，则对应到相应的矩阵为

这是线性可分的 hard-margin 情况下（即所有的数据点都被正确分开，不允许分错）的SVM解决方法，若要应用到非线性的资料则需要进行特征转化

机器学习（十）支持向量机SVM