数学基础（2节课）

微积分

极限，e，导数，微分，积分

偏导数，方向导数，梯度

极值，多元函数极值，多元函数泰勒展开

无约束优化，约束优化

拉格朗日乘子，对偶问题

线性代数

矩阵，行列式，初等变换

线性相关，线性无关

秩，特征值，特征向量

正交向量、正交矩阵

矩阵分解

概率

随机变量，概率密度函数，分布函数

条件概率，全概率公式，贝叶斯公式

期望，方差

大数定理，中心极限定理

协方差，相关系数

常见概率分布，泊松分布

指数族分布，多元高斯分布

参数估计，矩估计，极大似然估计MLE

机器学习基本概念（0.5节课）

输入空间，特征空间和输出空间

联合概率分布，假设空间

三要素：方法=模型+策略+算法

损失函数、风险函数、经验风险、结构风险

MLE和MAP

感知机Perceptron（1节课）

感知机模型、学习策略、训练方法

0-1损失函数

感知机的几何解释

感知机证明

pocket perceptron

线性回归和逻辑回归（2节课）

损失函数、训练方法、几何解释，平方损失函数

梯度下降

逻辑回归的形式，推导和训练，逻辑斯蒂损失

拟牛顿法，LBFGS

机器学习诊断和调试（1节课）

训练误差、测试误差、欠拟合、过拟合

正规化、交叉验证

树模型和boost（3节课）

熵的定义和应用，信息增益

决策树、ID3、C4.5和CART

Adaboost，指数损失函数

梯度提升树 GBDT

随机森林 Random Forest

支持向量机SVM（3-4节课）

硬间隔最大化，函数间隔，几何间隔

软间隔最大化

对偶算法

合页损失函数

核函数、核技巧

SMO算法

最大熵模型（1节课）

模型定义、约束条件和推导

重新理解逻辑回归

神经网络（1节课）

模型的定义和训练

BPA算法

无监督学习（3节课）

K-Means和高斯混合模型GMM

EM算法，推导、解释和理解

Topic Model基础，svd、lsa、plsa、lda

总结（1节课）

损失函数比较

模型的比较和选择

解决实际问题的一般步骤

机器学习基础大纲