首页 > 代码库 > [11-1] adaboost DTree
[11-1] adaboost DTree
main idea:用与权重成正比的概率sampling生成数据训练DTree,并同时生成权重
sampling模拟权重,adaboost:
原始的adaboost需要在每笔资料的err上加上权重u
由于使用这种方法,需要修改原DTree的算法过程,所以使用sampling代替
方法如下---
数据i的权重为ui,则抽到的概率pi=ui/sum(ui) 正比于ui
训练生成每个小g的权重计算:
由于DTree在所有数据都被sample到的情况下完全生长,其Ein=0,使at无限大,会消除adaboost的效果
所以需要对DTree进行限制,通常可以采用 1 剪枝 2 限制树高度 的方法
(adaboost decision stump是 height=1的adaboost DTree)
总结:
[11-1] adaboost DTree
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。