集成学习算法

　　在统计学和机器学习中，集成方法使用多种学习算法来获得比单独从任何组成学习算法获得更好的预测性能。Ensemble methods（组合方法）的效果往往是最好的，当然需要消耗的训练时间也会拉长。

　　所谓Ensemble methods，就是把几种机器学习的算法组合到一起，或者把一种算法的不同参数组合到一起。

一 Blending and Bagging

• Motivation of Aggregation
• Uniform Blending
• Linear and Any Blending
• Bagging (Bootstrap Aggregation

 Selection by Validation

bootstrap sample D?_t: re-sample N examples from D uniformly with replacement—can also use arbitrary N‘ instead of original N

二  AdaBoost 

三  Decision Tree

 决策树的两种定义：

Random Forest

Gradient Boosted Decision Tree

集成学习算法