首页 > 代码库 > mean shift 图像分割(二)

mean shift 图像分割(二)

Reference:

[1] Mean shift: A robust approach toward feature space analysis, PAMI, 2002

[2] mean shift,非常好的ppt 百度文库链接

[3] Pattern Recognition and Machine Learning, Bishop, 2006,Sec 2.5

[4] Computer Vision Algorithms and Applications, Richard Szeliski, 2010, Sec 5.3

[5] Kernel smoothing,MP Wand, MC Jones ,1994, Chapter 4


mean shift 图像分割 (一)1 总体思想,2 算法步骤

mean shift 图像分割 (二): 3 算法原理,4 延伸

mean shift 图像分割 (三): 5 非参数密度估计

图像分割—mean shift(OpenCV源码注解)



3 算法原理

3.1 密度估计

    关于密度估计,这里直接使用结论,具体原理,参见第5部分:非参数密度估计。

某一点的密度估计值:

    为核函数,一般我们会使用径向对称(radially symmetric)核函数。即:

    其中为标准化常数,使得

    称为的profile,原文介绍了两种,对应两种核,这里再补充一种。

    (1)Epanechnikov Kernel

    它的profile如下:

可视化效果

    (2)Normal Kernel

    它的profile如下:

可视化效果

    (3)Uniform Kernel

    它的profile如下:

可视化效果

    3.2密度梯度估计

    3.2.1 梯度方向

    处的密度估计:

    则密度梯度估计:

    ,即这一部分又可以看成是一个核密度估计。

    物理意义梯度方向是各个数据点的方向向量的加权求平均,即上式可以看成

蓝色圈圈—>到黄色圈圈

    例如,我们使用的是Normal Kernel,则

    想象一下几十匹马同时拉一辆车的恢宏场面,每匹马都往自己的方向拉,不过,距离越近的马,其力量越大,初中物理告诉我们,结果是合力的方向,如上图的黄色箭头。

    注意:Epanechnikov Kernel求导后实质上就是Uniform Kernel。

    3.2.2 漫漫爬坡路

    虽然,往哪个方向移动知道了,但是移动的步长并不好确定,下面转化一下形式,可以得到自适应步长:

    看起来有点复杂,实际上只是简单的替换。其中类比类比

    中间项的物理意义处的核的密度估计,求导所得,如果用Normal Kernel,则的形式和相同。

    中间项只是一个数,而最后一项就是所谓的mean shift向量,是一个方向向量,对应的就是我们的梯度方向。

    对于某一点往梯度方向移动到,则新坐标:

    物理意义:很直观,以为权值计算重心。

    时,我们就到达了模点,由于,所以只能是。不过想要一步登天,很难,除非你出生很好,就落在模点,大多数数据点,还是得老老实实,一步一个脚印爬上去。还是设爬过的脚印依次,则脚印公式:

    

    3.3.3 自适应步长

    可以看出步长成反比,还是以Normal Kernel为例,越靠近模点,步长越小,反之越大。

    原文证明了,只要是凸函数,单调递减(可以不是哦),那么就能保证它总能收敛到模点,并且是单调递增的(我没看……)。只要步履不停,我们总会遇见,多么美好的世界啊,求遇见。

    3.3 图像分割领域的具体化

    本质上,mean shift解决任何问题,都是转化成密度估计问题。但具体问题还得具体分析。对于图像它有两种信息,坐标和颜色,前者为spatial 空间后者为range空间,对于单通道图片即灰度值,对于彩色图片即或者效果更好的等。二者是截然不同的属性,决定了不能等同视之。因此,我们使用多元核密度估计(multivariate kernel)。设spatial有2维,range空间,设为维。

    一元核:

    

    图像分割中使用的多元核:

 

滤波的结果

    物理意义分别为坐标空间核和颜色空间核的带宽(bandwidth)/尺度,我说不清,看结果吧。

    3.4回首OpenCV实现

    第二步,重心计算公式

    我们是对以为中心为边长的区域求重心,其实本应该是:

    用的是Uniform Kernel,也就是说用的是Epanechnikov Kernel

    此时,距离筛选是由核函数实现的,因此我们是对图像中所有的数据点计算重心,而不是落在为中心,为边长的区域内的点求重心。

    OpenCV的实现中, 并不是圆形的,为了循环时程序实现的方便,就用方形近似,但是严格的球体。

    不过方形的也可以写成核函数形式:

    此外,Normal Kernel 的平滑效果固然好,但是计算量大,所以主要还是用Uniform Kernel。原文说大部分场合,Uniform Kernel和Normal Kernel就能取得很好的效果。

    4延伸

    不写了,已经写得太多了……这次就只挖个坑,日后再跳

    带宽选择

    图像分割的带宽一般是自己调整看效果,最优带宽也能也求出来?不过,我倒想看看自适应带宽。最优带宽值看原文吧。

    Mode prune

    对于鞍点等会产生一些虚假的模点,如上图,红色线上的点可能就跑到鞍点去了,去除办法:将模点的坐标稍作移动,再从移动后的位置继续爬,如果还能爬到原来模点的位置,那就保留,否则踢掉。恩,是你的跑不了,不是你的撒手就跑。

    与双边滤波的关联

    可以看做死板的mean shift 参见[4]的5.2.1

    与分水岭分割

    逆过程,从山峰开始找山谷,参见[4]的Sec5.2.1

    补充阅读

    图像分割加速:原文提到了一种加速方法,先随机选取一部分点作为先头部队,让它们去找模点,找的过程中就会开辟出很多到模点的道路,然后呢,让其余的点插到离它最近的路走过去就好了。此外,还有层级分割的方法,OpenCV的实现应该就是其中一种实现。

    A topological approach to hierarchical segmentation using mean shift. CVPR 2007

    目标跟踪:Kernel-Based Object Tracking, PAMI 03