决策树算法是一种逼近离散函数值的方法，是一种典型的分类方法。

决策树算法构造决策树来发现数据中蕴涵的分类规则。如何构造精度高，规模小的决策树是决策树算法的核心内容。一般情况下分两步进行，

1.决策树的生成。

2.决策树的剪枝。（对上一个阶段生成的决策树进行检验，校正和修下的过程，方法：使用测试数据集校验1中生成的决策树，将那些影响准确性的分枝剪除）

典型算法

ID3算法，此算法目的在于减少树的深度。但是忽略了叶子数目的研究。

C4.5算法，在ID3算法的基础上进行了改进，对于预测变量的缺值处理，剪枝技术，派生规则等方面做了较大的改进，既适合于分类问题，又适合于回归问题。总结：产生的分类规则易于理解，准确率较高。不过在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，在实际应用中会导致算法低效。

决策树算法的优点如下：

1.分类精度高；

2.生成的模式简单；

3.对噪声数据有很好的健壮性。

决策树算法