首页 > 代码库 > 决策树与随机森林
决策树与随机森林
决策树
决策树学习采用的是自顶向下的递归方法, 其基本思想是以信息熵为度量构造一棵熵值下降最快的树,到叶子节点处的熵值为零,
此时每个叶节点中的实例都属于同一类。
决策树三种生成算法
- ID3 --- 信息增益 最大的准则
- C4.5 --- 信息增益比 最大的准则
- CART
- 回归树: 平方误差 最小 的准则
- 分类树: 基尼系数 最小的准则
- 最大优点: 可以自学习。在学习的过程中,不需要使用者了解过多背景知识,只需要对训练实例进行较好的标注,就能够进行学习。
- 显然,属于有监督学习。
决策树的优缺点
- 优点: 决策树对训练属于有很好的分类能力,可以自学习。在学习的过程中,不需要使用者了解过多背景知识,只需要对训练实例进行较好的标注,就能够进行学习。
- 缺点: 但对未知的测试数据未必有好的分类能力,泛化 能力弱,即可能发生过拟合现象。
- 剪枝
- 随机森林
随机森林
随机森林能够解决, 决策树的过拟合问题. 随机森林用训练集生成多个(非常深的)决策树.在预测时, 每个树的都会预测一个结果, 每个结果加权表决, 来避免过拟合.
例如, 如果你训练了3个树, 其中有2个树的结果是A, 1个数的结果是B, 那么最终结果会是A.
1. 加入随机性: 训练集的子空间(bootstrap有放回采样):
Bootstraping的名称来自成语“pull up by your own bootstraps”,意思是依靠你自己的资源,称为自助法,它是一种有放回的抽样方法.
2. 加入随机性: 采样特征子空间(无放回采样)
3. 加入随机性: 加入新特征(合并, 低维的投影)
决策树与随机森林
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。