首页 > 代码库 > Regularized least-squares classification(正则化最小二乘法分类器)

Regularized least-squares classification(正则化最小二乘法分类器)


在机器学习或者是模式识别当中有一种重要的分类器叫做:SVM 。这个被广泛的应用于各个领域。但是其计算的复杂度以及训练的速度是制约其在实时的计算机应用的主要原因。因此也很很多的算法被提出来,如SMO,Kernel的方法。


但是这里要提到的 Regularized least-squares classification 是一个和他有着同样的效果的分类器。比较而言计算却比较的简单(We see that a Regularized Least-Squares Classification problem can be solved by solving a single system of linear
equations.)。接下来将对其进行介绍。


策略函数:

我们还是要来看一下他的策略:结构风险最小化Function。

                                                         

通过使用kernel的方法以及简化,我们得到最终要求的函数 f*(x):

                                                                    

这就是最终要求的结果。后面额的核函数我们可以采用一些常用的核函数处理掉(比如说:高斯核(Gaussian Kernel)等)。那如何来解决ci勒?


如何解c:


大家都知道在SVM当中采用的是合页损失函数(hinge loss Function)。但是很显然这里是平方损失函数:

                                                                     

同时我们对于上面的f*(x)两边都进行平方得到,带入到最开始的策略函数当中:

                                              

于是我们再来通过求导,令导数等于0,解出这个方程:

                                                                                

有没有发现异常的简单啊!




Regularized least-squares classification(正则化最小二乘法分类器)