本文作为em算法在图模型中的一个应用，推导plsa的em算法。

1 em算法

em算法是解决一类带有隐变量模型的参数估计问题。

1.1 模型的定义

输入样本为，对应的隐变量为。待估计的模型参数为，目标为极大化似然函数

对于上式的优化，不能通过直接对进行求导，因为一旦求导，就有如下的形式：

显然是不好求的。?

1.2 em算法的迭代过程

a. 初始化：随机初始参数的?

b. E step：

? ? ? ? ? ? 计算隐变量的后验分布

?c. M step:

? ? ? ? ? 迭代参数

? ? ? ? 其中，Q函数为X,Z的对数联合分布在Z的后验分布下的期望?

上面的式子，将样本和隐变量都表示成矩阵的形式，让人有些不太好套公式。

2 高斯混合模型

2.1 基本模型

?混合高斯模型认为，变量服从一个多峰的高斯分布，由数个高斯分布组合而成。所以我们首先引入隐变量。

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?