一、基本术语

一个示例=一个样本

属性=特征

属性值-属性空间

一个特征向量，即一个示例

训练集vs验证集vs测试集

假设：模型对应了关于数据的某种潜在规律

学习的任务：分类、回归、聚类

泛化能力：模型适用于新样本的能力

独立同分布：假设全体样本服从一个未知的分布，每个样本都是独立地从这个分布上采样获得的，即“独立同分布”

二、假设空间

1. 学习是一个“归纳”过程

2. 学习的过程看作是在所有假设组成的空间中，找到与训练集“匹配”的假设（能够将训练集中的示例判断正确的假设）

3. 假设的表示一旦确定，假设空间及其规模大小就确定了

4. 一个模型对应于一个假设

三、归纳偏好

用于选择“正确”的模型（对于某种类型的假设有偏好）

奥卡姆剃刀

没有免费的午餐 NFL

【基础知识一】绪论