首页 > 代码库 > 最大熵模型
最大熵模型
我们不要把鸡蛋都放在一个篮子里面讲得就是最大熵原理,从投资的角度来看这就是风险最小原则。从信息论的角度来说,就是保留了最大的不确定性,也就是让熵达到了最大。最大熵院里指出,对一个随机事件的概率分布进行预测的时候,我们的预测应当满足全部的已知条件,而对于未知的情况不要做任何的主观假设(不做主观假设这点很重要)。在这种情况下,概率分布最均匀,预测的风险最小。
香浓证明:对任何一组不自相矛盾的信息,这个最大熵模型不仅存在,而且是唯一的。和现在的函数softmax形式很类似,其实在物理意义上面说的是一回事。在解决复杂的文字处理上面很有希望。最大熵魔性的求解方式是使用EM算法,
1、假定第0次迭代的初始模型为等概率的均匀分布
2、用第N次迭代的模型来估算每种信息特征在训练数据中的分布。如果超出了实际的,就把相应的模型参数变小。否则,将他们变大。
3、重复步骤2,直到收敛。
最大熵模型是集简繁于一体,形式简单,实现复杂,计算量太大了。
最大熵模型
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。