树的节点将要预测的空间划分为一系列简单域，划分预测空间的规则可以被建模为一棵树，所以这种方法也叫决策树方法。

bagging，随机森林，boosting 是多棵决策树组合起来采用投票方式产生一个预测结果的方法。

以树为基础的方法可以用于回归和分类。

回归树：

输出是一个实数，如房子的价格等。

回归树是将特征空间划分为若干个区域，在每个区域里进行预测。假设被分为了M个部分，$C_m$是第m个部分的值。

预测值 $y =  \sum_{m=1}^M C_m I(x \in R_m)$

分类树：

决策树