最近想学RBM（限制玻尔兹曼机），找来Hinton在coursera上的神经网络课程，首先复习Hopfield 网络吧。

Hopfield Nets with hidden Unit

https://class.coursera.org/neuralnets-2012-001/lecture/125

简单来说，就是用隐藏节点的状态来表达输入节点的信息，

举例来说，二维图像里的一条边，在三维世界里可能对应无数条边，

如果将图像上每一条可能的线段都用一个“2D-Line”单元表示，这些单元就形成了一个集合，且任何一个特定的图片只能激活这个集合中一个很小的子集。

如果将场景中每一条可能的3D线段都用一个“3D-Line”单元表示，每一个“2D-Line”单元都可能是很多“3D-Line”单元的投影，我们可以用已被激活的“2D-Line”单元将其对应的“3D-Line”单元激活，由于我们一次只能看到一条直线，因此我们让这些“3D-Line”单元竞争。（图中红线表示竞争关系）

当两个“3D-Line”单元表示的直线在三维世界中相交，就让这两个单元相互Support对方，也就是在他们之间加入一条连接。

如果他们之间形成了right angle，我们就加入一条强连接。

现在我们有了这样一个网络，它记录了现实世界中的线段是如何连接的，以及他们是如何投影到图像上的。

给这个网络一个图像，它将形成对这个图像的一个interpretation。

然而，对于一个图像，我们可以有不同的interpretation，（比如对于纳克方块，就可以有两种理解，纳克方块是个有歧义性的图，一种诠释方式是在一个较高位置看透明立方体的俯视图，另一种诠释方式是在一个较低位置看透明立方体的仰视图。）

我们用低的能量状态来表达一个好的interpretation

问题一：如何避免能量函数陷入局部极值

问题二：如何学习节点之间的权值（输入节点与隐藏节点、隐藏节点与隐藏节点）

Using stochastic units to improv search

https://class.coursera.org/neuralnets-2012-001/lecture/127

这堂课，主要讲如何通过增加噪声来避免陷入局部极值。

Hopfield Nets的决策总是使得能量函数减小，这样就容易陷入局部极小点。

我们可以用随机噪声来避免陷入局部极小点，

开始时，加入大量的噪声，这样可以很容易的通过能量的屏障(barrier)

然后慢慢减小噪声，这样整个系统最终进入一个deep minimun，这个过程就是“模拟退火（simulated annealing）”，这个算法和Hopfield Nets是同一时期提出的。

那么，温度是怎样影响转移概率（transition probability）的呢？

当温度高时，系统能很容易从局部极小穿过能量屏障，但是跳出deep minimun的概率也较大。