第一章

归纳（induction）：特殊到一般的“泛化”过程，generalization，从具体的事实归纳出一般性规律

演绎（deduction）：从一般到特殊的“特化”过程，specialization，从基础原理推演出具体情况。

有归纳偏好：满足条件的模型很多，选择哪个呢？

第二章

过拟合overfitting和欠拟合underfitting

过拟合：学习能力过于强大，把训练样本所包含的不打一半的特性都学到了，说白了就是学习到了一些样本的特有特征

评估方法：1 留出法   ：分为连个子集，一个用于训练，一个用于验证

　　　　   2 交叉验证（cross-verification）：分成k份，K-1用于训练，剩下的一份用于验证，轮训K次，取平均。（留1法）

　　　　   3 自助法

周志华 机器学习 笔记