一、间隔与支持向量

     给定训练样本集D={(x₁,y₁),(x₂,y₂),...,(x_m,y_m)},y_i∈{-1,+1}，分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。在众多划分超平面之间，我们需要找出一个泛化能力最强的。直观上看，我们应该找位于两类训练样本“正中间”的划分超平面，该平面对训练样本局部扰动的“容忍”性最好。换言之，这个划分超平面所产生的分类结果是最鲁棒的，对未见示例的泛化能力最强。

      在样本空间中，划分超平面可通过线性方程来描述：w^Tx+b=0 ,其中w=(w1;w2;...;wd)为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。即划分超平面可被法向量w和位移b确定。并将其记为（w,b）。

     样本空间中任意点x到超平面（w,b）的距离可写为：

     假设超平面（w,b）能训练样本正确分类，即对于（x_i,y_i）∈D,若y_i=+1，则有w^Tx_i+b>0;若y_i=-1，则有w^Tx_i+b<0.令

     如下图所示，距离超平面最近的这几个训练样本点使上式成立，被称为“支持向量”，两个异类支持向量到超平面的距离之和为，它被称为“间隔”。

    欲找到具有“最大间隔”的划分超平面，即找到满足（6.3）的参数w和b，从而使得最大，即

    可知，为了使间隔最大化，仅需最大化||w||^-1,则上式可改为

  此即支持向量机（SVM）的基本型。

机器学习读书笔记------支持向量机