机器学习研究的主要内容是关于在计算机上从数据中产生模型的算法，即学习算法（learning algorithm）。

 

 

数据集（data set）

示例（instance） / 样本（sample）：也叫作特征向量（feature vector）

属性（attribute） / 特征（feature）

属性值（attribute value）

属性空间（attribute space） / 样本空间（sample space）：属性张成的空间。

training data 

训练集（training set）：训练样本组成的集合

hypothesis

ground-truth：指潜在规律自身

prediction

标记（label）

样例（example）：拥有了label信息的示例称为example. 

一般地，用 (x_i , y_i) 表示第 i 个样例。其中 y_i ∈ Y 是 x_i 的label，Y是所有标记的集合，亦称为标记空间（label space）或输出空间。

 

若我们想要预测的是离散值，则此类学习任务称为分类（classification）；

若我们想要预测的是连续值，则此类学习任务称为回归（regression）。

 

对只涉及两个类别的二分类（binary classification）任务，通常称其中一个类为正类（positive class），另一个类为反类 / 负类（negative class）；

涉及多个类别时，则称为多分类（multi-class classification）任务。

 

测试样本（testing sample）

 

聚类（clustering）

簇（cluster）

 

学习任务大致可以分为两大类：监督学习（supervised learning）和无监督学习（unsupervised learning），分类和回归是前者的代表，聚类是后者的代表。

 

学得模型适用于新样本的能力，称为泛化（generalization）能力。具有强泛化能力的模型能很好地适用于整个样本空间。

 

通常假设样本空间中全体样本服从一个未知分布（distribution）D，我们获得的每个样本都是独立的从这个分布上采样获得的，及独立同分布（independent and identically distributed，简称 i.i.d.）。

一般而言，训练样本越多，我们得到的关于D的信息越多，这样就越有可能通过学习获得具有强泛化能力的模型。

 

 

归纳（induction）和演绎（deduction）是科学推理的两大基本手段。

前者是从特殊到一般的泛化过程，即从具体的事实归结出一般性规律；后者是从一般到特殊的特化过程，即从基础原理推演出具体状况。

 

可以把学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集匹配的假设。假设一旦确定，假设空间极其规模大小就确定了。

 

现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此可能有多个假设与训练集一致，即存在一个与训练集一致的假设集合，称之为版本空间（version space）。

 

 

机器学习算法在学习过程中对某种类型假设的偏好称为归纳偏好（inductive bias），或简称为偏好。

 

对于一个学习算法E_a，若它在某些问题上比学习算法E_b好，则必然存在另一些问题，在哪里E_b比E_a好。这个结论对任何算法均成立。

这就是没有免费午餐定理（No Free Lunch Theorem，简称NFL定理）。

 

NFL定理有一个重要前提：所有“问题”出现的机会相同、或所有问题等同重要。但实际情形并不是这样，很多时候我们只关注自己正在试图

解决的问题。

略

 

 

略