首页 > 代码库 > 机器学习:模型评估和选择

机器学习:模型评估和选择

2.1 经验误差与拟合

精度(accuracy)和错误率(error rate):精度=1-错误率

训练误差(training error)或经验误差(empirical error)

泛化误差(generalization error)

 过拟合(overfitting)和欠拟合(underfitting)

过拟合:小明脸上一个伤口,机器人为没上伤口才是小明,过分在意无关细节,导致该筛的没筛到

欠拟合:身高170就是小明,结果小明好几个

2.2 评估方法

2.2.1 留出法(hold-out)

常用做法是将大学2/3~4/5的样本用于训练,剩余样本用于训练

为同时保证训练集和测试集的准确性,所占比例都不能过大或者过小

2.2.2 交叉验证法(cross validation)

将数据集分为n份,n次选编号n的集合作为测试集,其余为训练集验证,求平均

常用的有“10次10折交叉验证”

特例 :留一法(Leave-One-Out)  m个样品m个子集,则1个子集1个样品;相对精确,可是计算量可能会比较大

2.2.3 自助法(bootstrapping)

为了弥补前两种方法训练集均小于数据集的缺陷

基于自助取样(有放回取样)

2.3 性能度量

2.3.1 错误率和精度

2.3.2 查准率(precision)和查全率(recall)

P-R图,如果A曲线包住B曲线,则A好;如果有交叉,看平衡点(Break-Even point)大小

2.3.3  ROC和AUC

 

机器学习:模型评估和选择