首页 > 代码库 > 感知机1 -- 感知机模型

感知机1 -- 感知机模型

声明:

       1,本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结,不得用作商用。欢迎转载。但请注明出处(即:本帖地址)。

       2,因为本人在学习初始时有非常多数学知识都已忘记,因此为了弄懂当中的内容查阅了非常多资料。所以里面应该会有引用其它帖子的小部分内容。假设原作者看到能够私信我。我会将您的帖子的地址付到以下。

       3,假设有内容错误或不准确欢迎大家指正。

       4。假设能帮到你,那真是太好了。

定义

       感知机模型说白了就是推断“属于规定类?还是不属于规定类”的模型。

       其函数为:

              F(x)= sign(w·x + b)

                     w、b :感知机模型的參数

                     w∈Rn :权值/权值向量

                     b∈R :偏置

                     w·x :w和x的内积

                     Sign :符号函数

      

       感知机为一种线性分类模型,属于一宗判别模型

 

感知机的几何解释

       首先。其线性方程为w·x + b = 0,于是例如以下图所看到的:

             技术分享

       若该线性方程相应特征空间Rn中的一个超平面S,则w为该超平面的法向量,b为超平面的截距,该超平面将Rn分成正负两类。于是该超平面也被称为分离超平面

第一次总结

       综上所述。感知机预測就是通过学习得到的感知机模型,给出新输入实力相应的输出类别。

线性可不可分

       对数据集 T={(x1,y1),(x2,y2),...,(xn,yn)},当中x1∈Rn。yi={+1,-1}, i=1, 2, ...,n,若存在一超平面S:

w·x + b = 0

       可将数据集的正实例点和负实例点全然正确的划分到超平面的两側。即:

              对全部的yi = +1的实例i,有w·xi+ b > 0

              对全部的yi = -1的实例i,有w·xi+ b < 0

       则称数据集T为线性可分数据集,反之。称其为线性不可分数据集

感知机学习策略

       于是。其学习策略就是找出一个可将数据集全然正确分离的超平面:

              w·x + b = 0

       话句话说。就是确定w和b这两个參数

       而为了确定这两个參数,我们需了解下“损失函数”。

损失函数

       我们规定,损失函数为误分类点到超平面S的总距离。

       于是,我们先写出输入空间Rn中任一点x0到超平面S的距离:

              |w·x + b| / ||w||

       这里||w||为w的L2范数。

       对于误分类的数据(xi,yi)来说:

              -yi(wxi + b) > 0

                     由于。对于误分类的数据:

                            w·x + b > 0 时,yi = -1

                            w·x + b < 0 时。yi = +1

       于是

       ∵误分类点xi到超平面S的距离为:

              -yi(wxi + b) / ||w||

       ∴ 对于误分类点集合M。全部误分类点到S的总距离为:

              技术分享

       ∴若不考虑1/||w|||,就得到了感知机学习模型的损失函数

       最后,损失函数定义为:

              对给定数据集 T={(x1,y1),(x2,y2),...,(xn,yn)},当中x1∈Rn,yi={+1,-1}, i=1, 2, ...,n

              感知机sign(w·x + b)学习的损失函数定义为:

                     L(w,b) = -yi(w·xi + b)

              当中。M为误分类点的集合。

第二次总结(关于损失函数)

       1,  损失函数L(w, b) 是非负的

       2,  若无误分类点,则损失函数为0

              而随着误分类点的降低。损失函数的值也会降低

       3,  一个特定的样本的损失函数:

              在误分类时为參数w,b 的线性函数,在正确分类时为0

       4,  于是。对给定训练数据T。损失函数L(w, b)为:w,b的连续可导函数

 

感知机学习算法的最优化方法

       感知机学习算法的最优化的方法为:随机梯度下降算法。

              (类似的还有个:最小二乘法)

感知机学习算法的原始形式

       现已知,对于误分类点的几何,损失函数为:

              L(w,b) = -yi(w·xi + b)

       于是乎,我们的目的就是求L(w, b)的极小值,而这里,我们选择随机梯度下降算法来求此极小值。

       以下请转到“随机梯度下降算法”的总结。

感知机1 -- 感知机模型