首页 > 代码库 > [11-2] adaboost理解

[11-2] adaboost理解

以二分类问题为例({-1,+1})

adaboost步骤:

1.初始化u1=(1/N,1/N,…,1/N)

2.找到h,使技术分享最小化,记该h为g;计算技术分享作为该g的权重

3.更新ui:

   技术分享

4.重复2,3得到T个h,使用下列公式作为预测

  技术分享

 

理解:

1.   adaboost 和 ut

技术分享

技术分享

数据n的权重在经过T轮更新后,正比于 每个g在该资料上做的带权重的投票

技术分享

技术分享看成是margin,则margin变大,会ut会变小

所以每一轮adaboost,都会使技术分享变小,即使下列公式变小

   技术分享

 

2.adaboost 和 g(把adaboost看成在每一轮都尽可能使ut变小)

以gradient观点看:

adaboost每一轮都在找一个最好的h作为方向更新ut,使ut最小

技术分享

技术分享

adaboost选择这个h的标准是,使技术分享最小,得到g

 

3.adaboost和技术分享

选定特定的方向g后,选定技术分享,使技术分享最小

技术分享

技术分享

技术分享

 

总结:

技术分享

[11-2] adaboost理解