大类

名称

关键词

有监督分类

决策树

信息增益

分类回归树

Gini指数，Χ²统计量，剪枝

朴素贝叶斯

非参数估计，贝叶斯估计

线性判别分析

Fishre判别，特征向量求解

K最邻近

相似度度量：欧氏距离、街区距离、编辑距离、向量夹角、Pearson相关系数

逻辑斯谛回归（二值分类）

参数估计（极大似然估计）、S型函数

径向基函数网络

非参数估计、正则化理论、S型函数

对偶传播网络

无导师的竞争学习、有导师的Widrow-Hoff学习

学习向量量化网络

一个输出层细胞跟几个竞争层细胞相连

误差反向传播网络

S型函数、梯度下降法

支持向量机（二值分类）

二次规化，Lagrange乘数法，对偶问题，最优化，序列最小优化，核技巧

单层感知器

只具有线性可分的能力

双隐藏层感知器

足以解决任何复杂的分类问题

无监督分类

KMeans

质心

CHAMELONE

图划分，相对互连度，相对紧密度

BIRCH

B树，CF三元组

DBScan

核心点，密度可达

EM算法(高斯混合模型)

参数估计（极大似然估计）

谱聚类

图划分，奇异值求解 。全局收敛

自组织映射网络

无导师的竞争学习

回归分析

一般线性回归

参数估计，最小二乘法，一般不用于分类而用于预测

逻辑斯谛回归（二值分类）

参数估计（极大似然估计），S型函数

关联规则挖掘

FP-Tree

频繁1项集，FP-Tree，条件模式基，后缀模式

降维

主成分分析

协方差矩阵，奇异值分解

推荐

协同过滤

稀疏向量的相似度度量

方法细分

应用场所

参数估计

极大似然估计

线性回归。假设误差满足均值为0的正态分布,从而转化为最小二乘法

Logistic回归。梯度下降迭代法求似然函数的极值

高斯混合模型。

非参数估计

径向基函数网络

独立性检验

无参数假设检验

χ²检验

特征词选取，分类回归树的终止条件

秩和检验

相关性检验

Pearson相关系数（假设x,y成对地从正态分布中取得）

基于向量空间模型的文本分类，用户喜好推荐系统

Spearman秩相关系数（无参数假设检验）

最优化方法

无约束最优化方法

梯度下降法

极大似然估计（回归分析、GMM）

支持向量机

线性判别分析

牛顿迭代法及其变种

有约束时通过Lagrange乘数法转换成无约束问题

求特征值/特征向量

幂法

线性判别分析

降维

奇异值分解（仅针对对称矩阵）

主成分分析

谱聚类

信息论

信息增益

特征词选择

决策树

互信息

特征词选择

交叉熵

特征词选择，稀有事件建模仿真，多峰最优化问题

核函数

多项式核函数

SVM

RBF网络

高斯核函数（径向基函数）

双极性核函数

单极性Sigmoid函数

Logistic回归

BP神经网络

协方差

Pearson相关系数

PCA

EM算法

高斯混合模型

向前向后算法

基函数

高斯混合模型

径向基函数网络

平滑算法

拉普拉斯平滑

贝叶斯分类

隐马尔可夫模型

Good-Turing平滑

隐马尔可夫模型

评估问题—向前算法

解码问题—Viterbi算法

中文分词，词性标注　　　

学习问题—BaumWelch算法