首页 > 代码库 > 机器学习基石笔记-chapter 1 The learning problem

机器学习基石笔记-chapter 1 The learning problem

论证了在有noise的情形下,机器依然可以学习。然后介绍了error 的几种衡量方法。

 

想象在抽取弹珠的过程中,弹珠会不断地变色,那么在抽出来的时刻,它的颜色对应一个概率分布。

类比到有noise的情形,就是 对一个x,技术分享本来是确定的,加入noise后,技术分享 对应到了一个概率分布。

即便如此,在变色弹珠抽样中,抽出来的时刻的弹珠颜色占比仍然能估计出总体此刻的颜色占比,只要每一个弹珠的颜色分布都是iid的。

技术分享,那就是说 |Ein - Eout| 仍然能够符合vc bound.

技术分享

 

称P(y|x)为目标分布,在例子中,根据P(y|x)可以得到 ideal mini-target f(x)。

技术分享

 

学习的目标变成了 在常见的点上预测 ideal mini-target f(x).

技术分享

 

error measure

衡量g的好坏,看g在out of sample上的错误率,通常是对每一个x算错误率后取均值。

在二分类中,错误用0/1来衡量。

技术分享

 

两个常见的pointwise error衡量方法,0/1 error通常用于分类,平方error通常用于回归。

measure选取不一样,最终 ideal mini-target  f(x)  也会不一样。

技术分享

技术分享

 

因此可以说 error measure用来指导算法A进行学习。

至于为什么VC理论在更多的H和error上能够work还搞不懂。。

技术分享

 

应该如何设计error measure呢?

true err 真正量化出来基本是不可能的,所以实际中常常使用plausible或者friendly(对算法来说容易求解)的方法,这样得到的是err^,而非err,是对err的估计或者逼近。

技术分享

 

机器学习基石笔记-chapter 1 The learning problem