首页 > 代码库 > 【数学之美】第3章 统计语言模型
【数学之美】第3章 统计语言模型
用数学的方法描述语言规律
贾里尼克:一个句子是否合理,等同于判断其可能性的大小,用概率来衡量
Markov模型:简化条件概率运算。
二元模型 Bigram model,N元模型
为什么合理?上下文相关,短程依赖。
不足之处:忽略长程依赖性 Long Distance Dependency
N的取值?tradeoff,同时关注:效果的提升,资源的耗费
模型训练的问题:零概率问题(不平滑)
解决办法:平滑方法
理论基础:
Good-Turing Estimate: 相信可靠的统计数据,对不可信的统计数据打折扣,将折扣出来的小部分概率给予为看见的事件 (Unseen Events)
(IBM)Katz backoff
语料的选取问题:训练语料尽量和模型应用的领域相结合
训练数据尽可能多。但在某些领域(如机器翻译的双语语料)训练数据很少,无法追求大量数据
需要过滤训练数据
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。