首页 > 代码库 > 6 VC维

6 VC维

1 VC维的定义

VC维其实就是第一个break point的之前的样本容量。标准定义是:对一个假设空间,如果存在N个样本能够被假设空间中的h按所有可能的2的N次方种形式分开,则称该假设空间能够把N个样本打散;假设空间的VC维就是它能打散的最大样本数目N。若对任意数目的样本都有函数能将它们打散,则函数集的VC维是无穷大:

技术分享

几种假设空间的VC维如下:

技术分享

 

2 感知机的VC维

d维感知机的vc维是d+1。(证明略)

 

3 VC维的物理意义

VC维表示的是做二分类时假设空间的自由度,是把数据集打散的能力。

我们可以用如下的方法来估计VC维:

技术分享

即这个假设空间里面可调整的参数的个数。(只是一种估计的方法,有时候可能是不对的)

 

6 VC维