首页 > 代码库 > PLSA模型的再理解以及源码分析
PLSA模型的再理解以及源码分析
PLSA模型的再理解以及源码分析
之前写过一篇PLSA的博文，其中的收获就是知道PLSA是LSA在概率层面的扩展，知道了PLSA是一种主题模型，知道了PLSA中的参数估计使用的是EM算法。当时我就认为，这样子经典好用的算法，我是会回头再来理解它的，这样子才会有更加深刻的心得。所以有了这篇PLSA模型的再理解。
1. 两种思路解PLSA模型
参考了很多资料，发现大体上有两种解决PLSA模型的思路。下面我们大致说一下它们的思路。
思路一：EM算法中需要更新两个概率
PLSA模型的示意图如下：
其中包括的概率有：
也就是说我们知道的是P(d,w)，需要求解的是P(z,d)和P(w,z)。
我们根据P(d,w)构建似然函数，而且我们需要最大化这个似然函数，如下：
需要明确的是，这个似然函数中的自变量是P(z,d)和P(w,z),不巧的是，这两个变量在Log函数的内部是相加的关系，我们知道这为对似然函数的求导带来了很多麻烦。所以我们使用的是EM算法。
EM算法的基本实现思想是：
(1)E步骤：求隐含变量Given当前估计的参数条件下的后验概率。
(2)M步骤：最大化Complete data对数似然函数的期望，此时我们使用E步骤里计算的隐含变量的后验概率，得到新的参数值。
两步迭代进行直到收敛。
具体而言，
在PLSA模型中的E步骤，我们直接用贝叶斯公式计算隐含变量zk在当前参数取值条件下的后验概率，记住是后验概率，如下：
这里的
M步骤中，我们需要计算complete data的对数似然函数的期望，而且要最大化这个期望。那么首先我们要先计算出这个对数似然期望，如下：
（整篇算法就是这个无法理解，为什么期望是这样子的公式）
注意，这个时候的P(z|d,w)是已知的了，因为在E步骤中已经计算过了，这时候我们需要最大化这个期望，其中包含的自变量有P(z,d)和P(w,z)，所以我们需要分别对它们求偏导，令偏导为0：
解方程可得如下的结果：
这个就是我们在M步骤中最大化complete data对似然函数的期望，得到的两个参数的更新公式。
不断重复EM两个步骤，可以得到最终的两个参数P(z,d)和P(w,z)的值。
思路二：EM算法中需要更新3个参数
这个思路和上面思路的区别就在于对P(d,w)的展开公式使用的不同，思路二使用的是3个概率来展开的，如下：
这样子我们后面的EM算法的大致思路都是相同的，就是表达形式变化了，最后得到的EM步骤的更新公式也变化了。当然，思路二得到的是3个参数的更新公式。如下：
你会发现，其实多了一个参数是P(z)，参数P（d|z）变化了（之前是P(z|d)），然后P(w|z)是不变的，计算公式也相同。
2. PLSA算法的应用效果
对于数据X，如下：
我们使用思路二的PLSA算法，更新许多次之后的概率为：
iteration 27:
p(d/z)=
0.0000 0.0769 0.2931 0.2934 0.0000 0.0733 0.1467 0.1166 0.0000
0.1952 0.3223 0.0002 0.0000 0.1952 0.0000 0.0000 0.0918 0.1952
p(w/z)=
0.0733 0.0733 0.0000 0.0823 0.2878 0.0000 0.0000 0.1467 0.0000 0.2200 0.1166 0.0000
0.0651 0.0652 0.1302 0.1222 0.0049 0.1302 0.1302 0.0000 0.1302 0.0000 0.0918 0.1302
p(z)=
0.4702 0.5298
迭代了27次，得到了这三个概率。那么这三个概率有什么用呢？
我们知道LSA模型是利用SVD把原来的数据矩阵X降维，使用两个词之间的语义关系被挖掘了出来。两个原始空间中不相关的却语义上相关的词，在LSA模型中是比较相关的，这个是LSA直接的作用。那么PLSA有什么作用呢？
给定一个文档d，我们可以将其分类到一些主题词类别下。
PLSA算法可以通过训练样本的学习得到三个概率，而对于一个测试样本，其中P(w|z)概率是不变的，但是P(z)和P(d|z)都是需要重新更新的，我们也可以使用上面的EM算法，假如测试样本d的数据，我们可以得到新学习的P(z)和P(d|z)参数。这样我们就可以计算：
为什么要计算P(z|d)呢？因为给定了一个测试样本d，要判断它是属于那些主题的，我们就需要计算P(z|d)，就是给定d，其在主题z下成立的概率是多少，不就是要计算
这样既可以把一个测试文档划归到一个主题下，也可以给训练文档打上主题的标记，因为我们也是可以计算训练文档它们的的
如果从上面这个应用的角度来说，LSA和PLSA的目的就是从一群文档集中找到潜在的语义因子latent factors。由于提取到的主题词比文档中的词的数量要少很多，而且我们在学习的过程中不需要知道文档的类型信息，所以说LSA和PLSA是无监督的特征降维方法。
3. PLSA源码分析
知道PLSA算法的理论和作用，我们还要会用，下面提供一个MATLAB源码，人家写的挺简单的，我加了一些分析，帮助理解。
main函数：
% function demo
%
close all; clear all;
load data.mat;
k=2;
[pz pdz pwz pzdw]=plsa(X,k); % 返回的是4种概率
imagesc(pz); colormap(gray); colorbar;
title('Probability of topics pz');
xlabel('topic z_i'); ylabel('probability');
figure;
imagesc(pdz); colormap(gray); colorbar;
title('Category probability of document pdz');
xlabel('document d_i (pdz_{(i,j)} is the prob. that d_i belongs to z_j)'); ylabel('topic z_j');
figure;
imagesc(pwz); colormap(gray); colorbar;
title('Category probability of word pwz');
xlabel('word w_i (pwz_{(i,j)} is the prob. that w_i belongs to z_j)'); ylabel('topic z_j');PLSA子函数：
function [pz pdz pwz pzdw]=plsa(X,k)
% function [pz pdz pwz pzdw]=plsa(X,k)
% Return pLSA probability matrix p of m*n matrix X
% X is the document-word co-occurence matrix
% k is the number of the topics--z
% document--collums,word--rows
err=0.0001;
x = X;
[m n]=size(x); % m个词，n个文档
pz=rand(1,k); % 随机初始化pz, k个主题词
pz2=pz;
pz2(1)=pz2(1)+2*err;
% 初始化的都是随机值
pdz=rand(k,n); % 二维
pwz=rand(k,m); % 二维
pzdw=rand(m,n,k); % 三维 %initialize
h=0;
deno=zeros(1,k); %denominator of p(d/z) and p(w/z)
denopzdw=zeros(m,n); %denominator of p(z/d,w)
numepdz=zeros(k,n); %numerator of p(d/z)
numepwz=zeros(k,m); % numerator of p(w/z)
R=sum(sum(x)); % 所有的文档的词数总和
for ki=1:k
for i=1:m
for j=1:n
% P(w|z)和P(d|z)的分母，是每个zk一个值，所以是个向量
deno(ki)=deno(ki)+x(i,j)*pzdw(i,j,ki); % 叠加，计算的是P(w|z)和P(d|z)的分母
end
end
end
% p(d/z)
for ki=1:k
for j=1:n
for i=1:m
% P(d|z)的分子，每个zk和dj一个值，所以是一个矩阵
numepdz(ki,j)=numepdz(ki,j)+x(i,j)*pzdw(i,j,ki); % 叠加，计算的是P(d|z)的分子
end
pdz(ki,j)=numepdz(ki,j)/deno(ki); % 分子除以分母，一个矩阵
end
end
% disp(pdz);
% p(w/z)
for ki=1:k
for i=1:m
for j=1:n
% 计算的是P(w|z)的分子，每个zk和wi一个值，一个矩阵
numepwz(ki,i)=numepwz(ki,i)+x(i,j)*pzdw(i,j,ki);
end
% 分子除以分母，矩阵中的每个元素
pwz(ki,i)=numepwz(ki,i)/deno(ki);
end
end
% disp(pwz);
% p(z)
for ki=1:k
pz(ki)=deno(ki)./R; % 即为前面的分母
end
%denominator of p(z/d,w)
for i=1:m
for j=1:n
for ki=1:k
% 计算的是P(z|d,w)的分母，对zk叠加，每个wi和dj一个值，一个矩阵
denopzdw(i,j)=denopzdw(i,j)+pz(ki)*pdz(ki,j)*pwz(ki,i);
end
end
end
% p(z/d,w)
for i=1:m
for j=1:n
for ki=1:k
% 计算的是P(z|d,w)，每个zk和wi和dj一个值，一个三维矩阵
pzdw(i,j,ki)=pz(ki)*pdz(ki,j)*pwz(ki,i)/denopzdw(i,j);
end
end
end
% fprintf('p(z/d,w)=\n');
% disp(pzdw)
% iteration
iteration=0;
fprintf('iteration:\n');
while abs(pz2(1)-pz(1))>err || abs(pz2(2)-pz(2))>err
iteration=iteration+1; % 迭代次数
deno=zeros(1,k); %denominator of p(d/z) and p(w/z)
denopzdw=zeros(m,n); %denominator of p(z/d,w)
numepdz=zeros(k,n); %numerator of p(d/z)
numepwz=zeros(k,m); % numerator of p(w/z)
fprintf('iteration %d:\n',iteration);
for ki=1:k
for i=1:m
for j=1:n
deno(ki)=deno(ki)+x(i,j)*pzdw(i,j,ki); % 继续迭代，deno回到0，因为需要叠加，不过pzdw就是上次的新值
end
end
end
% p(d/z)
for ki=1:k
for j=1:n
for i=1:m
numepdz(ki,j)=numepdz(ki,j)+x(i,j)*pzdw(i,j,ki); % 计算公式同上，只不过此时的pzdw是更新过后的值
end
pdz(ki,j)=numepdz(ki,j)/deno(ki);
end
end
fprintf('p(d/z)=\n');
disp(pdz)
% p(w/z)
for ki=1:k
for i=1:m
for j=1:n
numepwz(ki,i)=numepwz(ki,i)+x(i,j)*pzdw(i,j,ki);
end
pwz(ki,i)=numepwz(ki,i)/deno(ki);
end
end
fprintf('p(w/z)=\n');
disp(pwz)
% p(z)
pz=pz2;
for ki=1:k
pz2(ki)=deno(ki)./R;
end
fprintf('p(z)=\n');
disp(pz2)
%denominator of p(z/d,w)
for i=1:m
for j=1:n
for ki=1:k
denopzdw(i,j)=denopzdw(i,j)+pz2(ki)*pdz(ki,j)*pwz(ki,i);
end
end
end
% p(z/d,w)
for i=1:m
for j=1:n
for ki=1:k
pzdw(i,j,ki)=pz2(ki)*pdz(ki,j)*pwz(ki,i)/(denopzdw(i,j)+eps);
end
end
end
end %end while
return;
参考：
http://www.cnblogs.com/ywl925/p/3552815.html
http://blog.csdn.net/huangxy10/article/details/8091478
http://blog.csdn.net/huangxy10/article/details/8091558
LSA和PLSA 唐克坦
http://blog.csdn.net/puqutogether/article/details/41720073
PLSA模型的再理解以及源码分析