首页 > 代码库 > 【转】基于LDA的Topic Model变形
【转】基于LDA的Topic Model变形
转载自wentingtu
基于LDA的Topic Model变形最近几年来,随着LDA的产生和发展,涌现出了一批搞Topic Model的牛人。我主要关注了下面这位大牛和他的学生:
David M. BleiLDA的创始者,04年博士毕业。一篇关于Topic Model的博士论文充分体现其精深的数学概率功底;而其自己实现的LDA又可体现其不俗的编程能力。说人无用,有论文为证:
关于显示的链接关系是过去今年内,人们追逐研究的对象,进而产生PageRank、HITS等等一大批优秀的链接关系算法。那么如何利用隐含的链接呢?什 么是隐含的链接呢?一个最简单的隐含链接就是基于内容相似度构建的图。这个被人们用的不亦乐乎,比如在文摘中的LexRank等。O Kurland在SIGIR中发了两篇大概都是类似的文章,本质思想貌似就是在利用内容之间的“超链接”。
另外一个比较新颖的研究点,就是如何基于“social network”来挖掘内容特征? Mei Qiaozhu的一篇论文就是利用“social network”的网络结构特征最为规则化因子,重新修正了原始的PLSA模型。想法非常的新颖。
如何把ratable information和内容有机地结合起来也是最近的一个研究热点。大多数方法还都是,建立一个ratable response variable,然后该变量条件依赖于内容或者说Topic信息。
此外的一些工作还有把Topic Model用来文摘和词性标注中的。应用到这些问题的两个主要思路:第一个就是用Topic Model去学习出一些compact features,然后在次基础上利用分类器等机器学习方法;另外一种就是利用原始NLP问题的一些结构信息,比如刚才所说的WordNet中的网络结 构,在这个结构特征中推导出整个图模型的概率生成过程。
总结 目前我能看懂的Topic Model的文章还是很少一部分,自己的概率和数学基础太差,对于posterior inference往往无能为力,这也是下一步我的目标。并且自己其实也不太会创新,下一步也是要在这个方面多下功夫,争取应用Topic Model来解决自己的实际问题。
David M. BleiLDA的创始者,04年博士毕业。一篇关于Topic Model的博士论文充分体现其精深的数学概率功底;而其自己实现的LDA又可体现其不俗的编程能力。说人无用,有论文为证:
- J. Chang and D. Blei. Relational Topic Models for Document Networks. Artificial Intelligence and Statistics, 2009. [PDF]
关于显示的链接关系是过去今年内,人们追逐研究的对象,进而产生PageRank、HITS等等一大批优秀的链接关系算法。那么如何利用隐含的链接呢?什 么是隐含的链接呢?一个最简单的隐含链接就是基于内容相似度构建的图。这个被人们用的不亦乐乎,比如在文摘中的LexRank等。O Kurland在SIGIR中发了两篇大概都是类似的文章,本质思想貌似就是在利用内容之间的“超链接”。
另外一个比较新颖的研究点,就是如何基于“social network”来挖掘内容特征? Mei Qiaozhu的一篇论文就是利用“social network”的网络结构特征最为规则化因子,重新修正了原始的PLSA模型。想法非常的新颖。
- D. Blei and J. Lafferty. Topic Models. In A. Srivastava and M. Sahami, editors, Text Mining: Theory and Applications. Taylor and Francis, in press. [PDF]
- J. Boyd-Graber and D. Blei. Syntactic Topic Models. Neural Information Processing Systems, 2009. [PDF] [Supplement]
- D. Blei, J. McAuliffe. Supervised topic models. In Advances in Neural Information Processing Systems 21, 2007. [PDF] [digg data]
如何把ratable information和内容有机地结合起来也是最近的一个研究热点。大多数方法还都是,建立一个ratable response variable,然后该变量条件依赖于内容或者说Topic信息。
- J. Boyd-Graber, D. Blei, and X. Zhu. A topic model for word sense disambiguation. In Empirical Methods in Natural Language Processing, 2007. [PDF]
此外的一些工作还有把Topic Model用来文摘和词性标注中的。应用到这些问题的两个主要思路:第一个就是用Topic Model去学习出一些compact features,然后在次基础上利用分类器等机器学习方法;另外一种就是利用原始NLP问题的一些结构信息,比如刚才所说的WordNet中的网络结 构,在这个结构特征中推导出整个图模型的概率生成过程。
- D. Blei and J. Lafferty. A correlated topic model of Science. Annals of Applied Statistics. 1:1 17–35. [PDF] [shorter version from NIPS 18] [code][browser]
- D. Blei and J. Lafferty. Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning, 2006. [PDF]
- T. Griffiths, M. Steyvers, D. Blei, and J. Tenenbaum. Integrating topics and syntax. In Advances in Neural Information Processing Systems 17, 2005. [PDF]
- D. Blei. Probabilistic Models of Text and Images. PhD thesis, U.C. Berkeley, Division of Computer Science, 2004. [PDF]
- D. Blei, A. Ng, and M. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, 3:993–1022, January 2003. [A shorter version appeared in NIPS 2002]. [PDF] [code]
- D. Blei and P. Moreno. Topic segmentation with an aspect hidden Markov model. In Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval, pages 343–348. ACM Press, 2001. [PDF]
总结 目前我能看懂的Topic Model的文章还是很少一部分,自己的概率和数学基础太差,对于posterior inference往往无能为力,这也是下一步我的目标。并且自己其实也不太会创新,下一步也是要在这个方面多下功夫,争取应用Topic Model来解决自己的实际问题。
【转】基于LDA的Topic Model变形
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。