首页 > 代码库 > bias and variance 理解与折衷
bias and variance 理解与折衷
首先我们通过三种途径来认识bias and variance ,三种途径是:直观上的、图形上的、数学定义上的。
直观上的定义:
Error due to Bias:真实值与预测值之间的差异。
Error due to Variance : 在给定模型数据上预测的变化性,你可以重复整个模型构建过程很多次,variance 就是衡量每一次构建模型预测相同数据的变化性。
图形上的理解:
如图所示,图形中心是模型完美正确预测数据值,当我们远离中心预测越来越差,我们可以重复整个模型构建过程多次,通过每一次命中图形来表示bias and variance
数学上定义:
通过covariate X 预测 Y ,我们假设存在如下关系:
Y = f(X) + ? 满足正态分布均值为0 方差σ?
模型预测错误定义为:
bias and variance 的折衷在机器学习中很重要,如果我们模型太简单 则有大的 bias 但是比较小的variance 这时处于模型under-fitting 的状态。
如果模型过于复杂,则bias 较小,但是variance 较大 ,这时模型处于over-fitting 的状态。
解决模型over-fitting 方法有: cross-validation 、最常用的方法是正则化(regularization)
参考资料:http://scott.fortmann-roe.com/docs/BiasVariance.html
bias and variance 理解与折衷
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。