首页 > 代码库 > MapReduce——并行期望最大值化算法(EM在高斯混合分布中的应用)

MapReduce——并行期望最大值化算法(EM在高斯混合分布中的应用)

首先给出期望最大值化算法在高斯混合分布中的应用,我们用《Pattern Recognition and Machine Learning》中第九章中的符号:

假设有个观测数据组成的集合个高斯分布,

E步:

M 步:




—————————————————————————————————————————————————————

并行的期望最大值化算法:

假设有个观测数据组成 的集合个高斯分布,首先把这个观测数据,分成份(可以是不等分也可以是等分),假设这个子集,分别有

个观测数据,其中,然后,把这个子集,分别分布到Mapper上,则:


E步:

第一个Mapper,就算关于第一个子集的

并同时计算:


第二个Mapper,就算关于第二个子集的


并同时计算:


以此类推:

在每一个Mapper上做类似的计算


Mapper,就算关于第个子集的

,

并同时计算:

M步:

Reducer中,通过在Mapper中,求出的值,可以计算:

,


然后把得到的,,广播到每一个Mapper中,然后,

在第一台Mapper中,计算


在第二台Mapper中,计算


以此类推:


在第M台Mapper中,计算

然后在Reducer中,可以计算:

,