首页 > 代码库 > Gaussian LDA(1): LDA回想以及变分EM

Gaussian LDA(1): LDA回想以及变分EM

Latent Dirichlet Allocation (LDA)是一个主题模型,可以对文本进行建模。得到文档的主题分布。经常使用的模型參数预计方法有Gibbs Sampling和Variational Inference,网上有许多关于LDA的介绍,最为经典的比如Rickjin的《LDA数学八卦》。本文旨在推导变分EM的所有过程。

转载请注明出处:http://blog.csdn.net/u011414416/article/details/51168242

本文參考了Blei在2003JMLR上发表的LDA论文,Blei文中并没有关于对beta加了先验的情况进行推导。

本文的推导基于smoothed LDA(即对主题-词分布beta也施加了Dirichlet先验eta)。如有错误,欢迎指正。

技术分享
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享

<script type="text/javascript"> $(function () { $(‘pre.prettyprint code‘).each(function () { var lines = $(this).text().split(‘\n‘).length; var $numbering = $(‘
    ‘).addClass(‘pre-numbering‘).hide(); $(this).addClass(‘has-numbering‘).parent().append($numbering); for (i = 1; i <= lines; i++) { $numbering.append($(‘
  • ‘).text(i)); }; $numbering.fadeIn(1700); }); }); </script>

Gaussian LDA(1): LDA回想以及变分EM