目录

EM算法（1）：K-means 算法

EM算法（2）：GMM训练算法

EM算法（3）：EM算法运用

EM算法（4）：EM算法证明

　　　　　　　　　　　　　　　　　　EM算法（4）：EM算法证明

1. 概述

　　上一篇博客我们已经讲过了EM算法，EM算法由于其普适性收到广泛关注，高频率地被运用在各种优化问题中。但是EM算法为什么用简单两步就能保证使得问题最优化呢？下面我们就给出证明。

2. 证明

　　现在我们已经对EM算法有所了解，知道其以两步（E-step和M-step）为周期，迭代进行，直到收敛为止。那问题就是，在一个周期内，目标函数的值是否增加了？如果能保证其每个周期都在增加的话，那么其必然收敛到一个局部最大值处。这就是我们EM算法所需要证明的，即：

　　　　　　　　　　　　$Q(\theta;\theta^{(i+1)}) \geqslant Q(\theta;\theta^{(i)})$

　　首先我们的目标函数$lnp(\mathbf{X}|\theta)$可以用包含确实信息的概率表示，即：

　　　　　　　　　　　　$lnp(\mathbf{X}|\theta) = \sum_Ylnp(\mathbf{X},\mathbf{Y}|\theta)$

　　利用

EM算法（4）：EM算法证明