首页 > 代码库 > 关于手指提取的文章的调研

关于手指提取的文章的调研

1.Combining Contrast Saliency and Region Discontinuity for Precise Hand Segmentation in Projector-Camera System

这篇文章提取手指    可以认为分为三步
a.首先是应用颜色直方图求图像各像素的saliency 显著性
并且对显著性本身进行了一个均值滤波  
得到了一个增强后的图像 即saliency map
我们的前景变得更加突出   更适合于之后进行聚类等的提取
b.然后是进行基于meanshift算法 均值偏移的一个聚类 
所谓的meanshift算法是一个迭代过程  这可以套用已有的代码
结果是得到了L个区域  该方法一个特点是滤掉投影图案的前提下能够保护手指边缘的信息(boundary)
c.最后通过一个confidence function 求出每个区域属于手指的概率  当概率大于一定阈值时认为属于手指区域
最终得到了提取出的精细的手指  如d所示
那么该方法有什么特点  能够应用在哪些情形下呢????
首先对于saliency那一步我觉得很有用,能够突出我们想要的信息。当然比单纯使用YCbCr颜色空间中的Cr通道信息效果要好。该方法突出是是前景与背景之间颜色的差异性,而与前景本身是什么颜色关系不大,所以即使是黑人的手指也能很好的使用。
然后meanshift算法是个比较经典的聚类方法。与区域生长算法等方法相比,虽然仍然需要迭代,但是在提取saliency map后之后迭代次数能降不少,所以时间复杂度上不用过度担心。关键是不需要提取质心,所以不需要对手指进行粗提取来找质心,也排除了质心寻找错误的问题。
最后confidence function的方法,衡量每个区域是否属于手指确实是比较好的方法。以往比较简单的手指提取往往在标记连通区域之后直接提取最大的连通域,并且认为这样就去除了干扰的影响。但实际上有时可能有些小的连通域也是属于手指的,只不过由于各种干扰所以被分割开了。
 
接下来需要对每步的实现细节进一步了解。
需要参考:
1.Global Contrast based Salient Region Detection     利用显著性进行图像分割以及得到显著图的细节
2.Mean Shift: A Robust Approach toward Feature Space Analysis     均值偏移算法进行聚类的细节
3.Hand Gesture Recognition in Camera-ProjectorSystem  参考这篇文章里radiometry 标定的部分
 

2.Global Contrast based Salient Region Detection 

首先我们提出几个问题

1.salient和saliency map 是什么?

2.有什么用?

3.在什么情况下用?

salient即显著性,一般指的是人眼及其神经视觉系统本能上感觉显著及突出的一种性质。比如白墙上的黑点即为显著的。

这一概念最初是从神经科学上来的,科学家们研究人类能够快速识别物体的视觉原理时发现,人能够快速的将注意力集中到环境中的部分区域,而对其他区域却视而不见。故将注意力集中的这一区域称为显著性区域saliency region

心理学家将人的视觉认识机制分为两种情况:自顶向下的与自底向上的。

自顶向下的认识机制一般发生在有意识的寻找什么的,我们已知大概知道了想寻找的东西,然后慢速的遍历面前的一切进行显著性提取。

而自底向上则相反,一般发生在无意识的情形,我们不知道想要寻找什么,是一种快速的扫描定位到客观上显著的东西。不知道为什么,就是觉得墙上那个黑点好显眼啊这种感觉。

我们知道计算机视觉的算法本来就是为了模拟人类的视觉而存在的,于是根据这两套认识机制,也就发展出了各自的显著性检测方法。

即自底向上的图像显著性检测与自顶向下的图像显著性检测。

前者是数据驱动的,更加快速。往往是通过图像中某区域在颜色、亮度、方向等特征上与其他区域的不同来寻找显著性区域。这方面已经有了很多工作。

而后者是目标驱动的,是根据具体的任务对自底向上方法的结果进行相应调整实现的。

自顶向下又分两种情况,既然说目标是已知的,那么这个已知是如何得到的?怎么知道检测目标的结构和性质的?

一种是人为设定检测目标的性质。比如Canny方法进行边缘检测,这就是已经对边缘(即检测目标)的结构和性质有了深入的理解后才能够实现的。但显然如果我们的目标较为复杂,这种人为设定的方法就不太现实了。

另一种则是通过样本训练,自动的建立显著性区域模型,得到我们感兴趣区域的性质和结构。比如甚至可以在人脸识别中应用该方法。

(同样,手势识别的话也可以应用类似的方法)