首页 > 代码库 > 受限的波尔兹曼机的简单了解知识

受限的波尔兹曼机的简单了解知识

如果万一大家不小心检索到了本篇文章,为了不浪费大家的时间,请大家直接看  http://blog.csdn.net/itplus/article/details/19168937, 写在很好,太好好好!!!(本篇内容仅仅用于我的自我复习)

 

长什么样?

它长这样子:

技术分享

 

它的特点: 在给定可见层单元状态(输入数据)时,各隐层单元的激活条件独立,反过来看,在给定隐层单元状态时,可见层单元的激活条件也是独立的。

其中的参数:可见层用V表示,隐含层用H表示,可见层的偏置用a表示,隐含层的偏置用b表示,权值矩阵用W表示。

它是什么东西:它就是一个随机网络模型, 给定输入层,一定的条件概率下映射到隐含层;然后再根据一定的概率映射出来,结果尽可能与原始的输入相同。  一切都是建立在概率上!!!!

   说实话,这是什么玩意啊,它能干什么啊。 我目前真的不是很清楚啊。

 

它的概率是如何定义的?

它的概率的定义借鉴了基于能量的统计学分布。  当系统处于状态 i 时,它的能量用Ei 来表示,那么请问处于状态 i 的概率为多少呢??用下式表示:

技术分享,  其中 技术分享

所以呢,把我们把这个统计学的分布应用于我们的受限的波尔北曼机时,如何定义它的能量函数是很重要的了。

下面是能量函数的定义公式,为什么这么定义呢?不是很明白啊。我感觉吧:可能怎么定义都可以吧,能够自圆其说就可以吧。反正就是自己定义的了。定义不同的能量函数,最后训练出来的网络的参数不同嘛,最后的分布应该是不变的,因为我们就是朝着它的分布而去训练的网络啊。。

技术分享

利用这个能量函数,定义出受限有波尔兹曼机的状态概率:给定状态(v,h), 它的联合概率为:

技术分享,其中,技术分享

 

一些相关的概率:(来自:http://blog.csdn.net/itplus/article/details/19168989,很清晰的推导过程,写的太棒了,

技术分享

技术分享

技术分享

其中的一个推导过程:

技术分享

 

 

如何训练的问题:

 

 

 

 

 

为什么我感觉对比散度算法与Gibbs采样没有区别啊就是把随机的初始值变为了样本值了吧(意思就是现在的样本是符合平稳的马尔可夫链的分布的)。

 

 

不先写了,有一些问题想不明白。。不先写了,有一些问题想不明白。。

 

参考资料:

http://blog.csdn.net/itplus/article/details/19168937  受限玻尔兹曼机(RBM)学习笔记(一)预备知识

受限的波尔兹曼机的简单了解知识