由于图像分割中经常用到MRF，条件随机场，一直不明白，写个博客学习一下。

一、Probabilistic Graph Models 概率图模型

讲到MRF，首先要介绍一下概率图模型的概念，即采用图表达概率分布模型PGM，PGM主要有如下优点：

• 提供一个概率模型结构可视化简单方法，且能够用来设计和驱动新的模型；
• 更深入的理解模型的属性，包括条件独立的属性；
• 复杂的推理和学习的计算可以用PGM进行表达；

• 图包括node（也称vertices）和links（也称edges），每个node代表一个随机变量，link代表变量之间的概率关系；
• 图涵盖了所有随机变量的联合分布；

图的各种类包括有向图模型和无向图模型，例如：

• 贝叶斯网络：有向的图模型；
• MRF：无向的图模型。

二、贝叶斯网络

假设有三个变量a、b、c，他们的联合分布p(a, b, c) = p(c|a, b) * p(a, b) = p(c|a, b) * p(b|a) * p(a)，则表示为图模型为下图，a称作b的父结点，b称作a的子结点。

假设有K个变量，联合分布如下图所示

如下图所示，每对结点之间都有links，称作全连接（fully connected）

如下图缺少某些links的情况

其联合概率分布

K个nodes的图的联合分布可以写成如下形式：

其中，pak表示xk的父结点集合，x={x1, ..., xk}，上述公式表示一个有向图模型的联合分布因式分解的属性。

举个多项式曲线拟合的例子帮助理解

则Bayesian多项式回归模型用图模型表示如下，w是系数，tn是样本标签值

一个更简洁的形式采用plate（标记为N的方框）表示N个结点，图中只显式的标记了tn。

如下图中阴影的结点集合{tn}表示相关的随机变量已经被设置为观测值（样本集）。

讲述一下条件独立的例子

例1：一个变量a在给定条件c的情况下，条件独立于变量b的表达式

p(a|b, c) = p(a|c)

或 p(a, b|c) = p(a|b, c) * p(b|c) = p(a|c) * p(b|c)

例2：若给定变量c的情况下，变量a和b统计上独立的表示为

例1中表示为图模型为

图中的联合概率表示为：

p(a, b, c) = p(a|c) * p(b|c) * p(c)

如果图中所有变量都是未观测变量，则

公式中并不是简单的因式分解为p(a)*p(b)，则a和b并不独立

如上图中，假设把c当作条件，则a和b在条件c下是独立的

三、Markov链

上图就是一个简单的有三个变量的Markov链模型，其联合分布如下：

同样的p(a, b)不等于p(a)*p(b)，则a和b并不相互独立

在给定变量c的条件下，则利用贝叶斯公式推导，a和b是条件独立的。

四、Markov Random Fields

上面介绍了很多理论的东西，下面开始进入主题，讲述Markov随机场。

上图是一个无向图的例子，所有集合A中的结点要到集合B都需要至少经过集合C中的一个结点，则A和B中的结点在条件C的结点下是独立的。

我们定义clique（团）为图中结点子集，该子集中的任意两个结点存在边。

最大团：如果团不能再添加结点并保证其仍然为团，这样的团称作最大团。

上图存在两个最大团：{x1, x2, x3}和{x2, x3, x4}，而{x1, x2}则只是团，并不是最大团，因为还可以增加x3并保证仍然是团。

定义C表示一个团，Xc表示团中的变量集合，联合分布表示为最大团的potential function（势能函数）的乘积。

其中，Z是标准化常数，保证这p(x)符合概率0-1。与有向图相比，对于边缘概率分布和条件概率分布来说，并不限制势能函数的类型。

但是，势能函数必须是严格的大于0的。则一般把势能函数表达为指数函数更加方便

其中，E(Xc)称作能量函数。

对于MKF的简介基本就到这里，如果有不足的地方，还望大家批评指正！

Markov Random Feilds