首页 > 代码库 > 加州理工学院公开课:机器学习与数据挖掘_Regularization(第十二课)

加州理工学院公开课:机器学习与数据挖掘_Regularization(第十二课)

课程简介:

接上一节课,这一节课的主题是如何利用 Regularization 避免 Overfitting。通过给假设集设定一些限制条件从而避免  Overfitting,但是如果限制条件设置的不恰当就会造成 Underfitting。最后讲述了选择 Regularization 的一些启发式方法。


课程大纲:

1、Regularization
2、Weight decay
3、Choosing a regularizer

1、Regularization

R 有两种方法:
1) Mathematical 
函数近似过程的病态问题。
2) Heuristic
妨碍 Ein 的最小化过程。
本节主要介绍第二种方法。
模型(假设集):Legendre Polynomials + Linear Regression 
之所以选择该模型进行讲解,是因为该模型能够简化我们的推导。利用其他的模型也可以,但是将会增加推导的难度,对于讲解问题,这毫无益处。
通过 Legendre 函数,我们把 x 空间下的数据映射到 Z 空间。然后就可以利用之前学习过的 Linear Regression 知识进行计算、推导。
下面的思路主要就是在 Hq 的前提下增加一些限制条件。(具体是什么限制条件,具体问题具体分析,然而也有一些指导性原则,因此该限制条件是的设定是 heuristic (启发式)的,比如之前讲过的 H2 和 H10 就是在 H10的模型下增加一些限制条件,从而变成 H2,这叫硬性限制)然后在满足该限制条件的前提下求出最小的 Ein,一般都是用求导 = 0 的方法求得。
首先先看看在没有设置限定条件的时候,求得的 W 值(Wlin)


在增加限制条件下:为了表述方便,令此时计算得到的 W 为 Wreg



现在的全部问题就是求出 Wreg,在学习其它的方法(如支持向量机,KKT 等)前,下面利用的方法是不严谨的,是基于对图形的分析而得出来的。
红色的圈表示的是限制条件,我们的目的就是在该圈内找到一个W 使得 Ein 最小。图中的线都是等高线,箭头表示的是最大梯度方向。Wlin表示在没有限制条件的情况下得到的最小的Ein对应的W值。为了得到最小的 Ein,可以不断缩小蓝色圈,使得图中两个圈相切,此时有 Ein 最小,切点就是对应的 W (假设Wlin不包含在红色圈中,否则限制条件也就没有意义了),此时有蓝色箭头和红色箭头在同一条直线上而且方向相反,即 ▽Ein(Wreg) 正比于 -Wreg。为了方便,我们假设比例系数是:-2λ/N,之所以要加上 常系数是因为这样有利于推导过程的顺利进行,λ 的取值将直接对结果产生影响。最后一步的最小化结果就是解。(求导 = 0得到的等式跟倒数第二个等式形式一致,这也是为什么要加上那两个常系数的原因),为了方便,令最后一个等式为 Eaug(W),表示增加限制条件下的 Ein。


有了上面的分析,现在问题的求解就很容易了,如下:



当 λ 取不同的值得时候会有不同的表现,当 λ 无限大,则 Wreg = λI,因此无法进行学习。当 λ 变为 0 的时候就退化为没有限制条件下的学习问题。下面看看当 λ 取不同的值对于结果的影响:

可以看到,如果我们能够找到一个好的 λ 将会对学习结果产生非常积极的影响,反之,则会使得学习陷入另一个极端:Underfitting,根本就把数据给无视了,好人坏人一起干掉!。因此选取的时候需要小心。
上面对 Eaug的最小化过程叫做 Weight decay。why?

2、Weight decay

在神经网络中有类似下面的公式:

当 λ 很小的时候,其效果相当于减少 W(t),因此叫做 decay。可是,为什么一定要减少?如果增加会怎样?按照经验,如果增加 W(t) 会使得结果变得糟糕,如下图:

在这种情况下,只有当 λ 等于 0 的时候才能最小化 Eout,此时相当于没有限制条件。当然,这些只是一些指导性的规则,并没有严格的数学限制。其实机器学习很多时候都是这样,基于一个假设,然后进行学习。学习的效果跟假设有很大的关系。或者说假设的好坏直接影响到机器学习的效果。

事实上,我们的限制条件可以是多样的,比如,我们可以在上述的限制条件下增加一些参数,使得对于不同项的系数拥有不同的限制条件:
  

一般化:
Ω =Ω(h),其中 Ω 表示Regularizer。通过Ω 对假设集增加限制条件。
现在就是要最小化:Eaug(h)  = Ein(h) + λ/N*Ω(h)
上面的公式跟:
Eout(h) <= Ein(h) + Ω(H)很相似。
以前我们把 Ein 作为 Eout 的一个代理,现在Eaug将更好的完成这项工作。
现在问题是该如何得到Ω

3、Choosing a regularizer

Ω 的选取是一个启发性的问题。通过对实际的观察,我们得到如下实践的规则:
1) 随机噪声一般都是高频的,尖锐的。
2) 确定性噪声一般也不是平滑的。
因此我们限制的一般化原则是使得学习的结果想着平滑、简洁的方向进行。
最后,我们看看 λ  对结果的影响:


加州理工学院公开课:机器学习与数据挖掘_Regularization(第十二课)