从大量数据中抽取出一些样本，例如，从大量弹珠中随机抽取出一些样本，总的样本中橘色弹珠的比例为，抽取出的样本中橘色弹珠的比例为，这两个比例的值相差很大的几率很小，数学公式表示为：

用抽取到的样本作为训练样本集（in-sample），可以求得一个最佳的假设g，该假设最大可能的接近目标函数f，但是在训练样本集之外的其他样本（out-of-sample）中，假设g和目标函数f可能差别很远，不能说抽取样本分布等同于所有样本的分布，只是大致相近。

二者的错误几率相差为：

当数据资料足够多，且模型H集合有有限个的选择，可以得到Ein和Eout是大致相等的

机器学习笔记（四）机器学习可行性分析