首页 > 代码库 > MATLAB简单实现ID3
MATLAB简单实现ID3
再看《MATLAB数据分析与挖掘实战》，简单总结下今天看到的经典的决策树算法——ID3.
ID3：在决策树的各级节点上，使用信息增益的方法作为属性的选择标准，来帮助确定生成每个节点时所应采取的合适属性。
关于信息增益，知乎上这个回答也讲的很不错。信息增益=熵 - 条件熵，信息增益越大，说明该条件对事件确定性的影响越大。所以，在决策树中，我们将信息增益值作为测试属性。把测试属性取值相同的样本划为同一个子样本集。
基本流程：
·对当前样本，计算所有属性的信息增益，并将信息增益作为测试属性；
·若子样本集的类别属性只含有单个属性，则分支为叶子节点，判断其属性值并贴上相应的，然后返回调用处；否则对子样本集递归调用算法。
原理看起来有点复杂，其实用MATLAB实现起来及其简单：
%% 使用ID3决策树算法预测销量高低clear;% 参数初始化inputfile = ‘F:\Techonolgoy\MATLAB\file\MTALAB数据分析与挖掘实战\Datasets\chapter5\chapter5\示例程序\data\sales_data.xls‘; % 销量及其他属性数据%% 数据预处理disp(‘正在进行数据预处理...‘);[matrix,attributes_label,attributes] = id3_preprocess(inputfile);%% 构造ID3决策树，其中id3()为自定义函数disp(‘数据预处理完成，正在进行构造树...‘);tree = id3(matrix,attributes_label,attributes);%% 打印并画决策树[nodeids,nodevalues] = print_tree(tree);tree_plot(nodeids,nodevalues);disp(‘ID3算法构建决策树完成！‘);
ID3缺点：
·偏向选择取值最多的即所谓的高度分支属性，不一定最优。
·只能处理离散属性。
MATLAB简单实现ID3
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。