首页 > 代码库 > EM最大期望算法-走读
EM最大期望算法-走读
打算抽时间走读一些算法，尽量通俗的记录下面，希望帮助需要的同学。
overview：
基本思想：
通过初始化参数P1,P2，推断出隐变量Z的概率分布（E步）；
通过隐变量Z的概率分布，最大似然推断参数P1,P2 （M步）。
梯度下降也可以解决隐变量估计问题，但求和项会随隐变量个数指数增长，EM方法是一种非梯度下降优化方法。
一 例子参考
-------------------------------------------------------
引入问题：两枚材质不均匀硬币模型：五次实验，每次调一枚硬币抛5次，记录正反。
因变量z:每次实验的哪枚硬币
-------------------------------------------
初级版本：初始化P1,P2,
E步:计算隐变量各种可能(1,2)期望
M步骤：极大似然，确定隐变量取值，重新计算参数P1,P2
------------------------------------------------------------
标准版本：
E步:计算隐变量期望，
计算隐变量概率分布（按照概率使用所有数据集，更准确，收敛更快）
M步：根据隐变量的概率分布，计算每种情况下每轮的正反概率分布，最后求和计算参数P1,P2
迭代E和M直至参数收敛。
二 上述例子的公式版：
分析：求导计算复杂，所以采用EM算法
E步:计算隐变量概率分布
M步：根据隐变量的概率分布，计算每种情况下每轮的正反概率分布，最后求和计算参数P1,P2
参考：
http://www.jianshu.com/p/1121509ac1dc
https://chenrudan.github.io/blog/2015/12/02/emexample.html
EM最大期望算法-走读
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。