首页 > 代码库 > 利用Kinect将投影变得可直接用手操控

利用Kinect将投影变得可直接用手操控

Finally

总算是到了这一天了!假期里算法想不出来,或者被BUG折磨得死去活来的时候,总是YY着什么时候能心情愉快地坐在电脑前写一篇项目总结,今天总算是抽出时间来总结一下这神奇的几个月。

现在回过头来看,上学期退出ACM集训队果然是对的,这次开发学到的东西太多太多,以前在ACM的时候,感觉不会的东西好多啊,真正来自己试着开发个东西,发现不会的东西果然好多。不过要是几个老师知道我上午给新生做完ACM宣讲报告下午就跟教练说退出,他们会是什么心情啊哈哈。

这些是第一次尝试开发,如果ACM是练内功的话,那么练了三年也总该让我拿出来用用了,不然学了三年还是只在个控制台里玩甚是寂寞,自己亲手从无到有创造出一个东西来的感觉, 实在太爽了!

先说一下这次项目印象最深的几个教训:

  1. 功能一旦变得复杂,就一定要在纸上先画一画!
    • 流程图也好,大体思路图也行,甚至随手演算的过程都可以,总之一定要把思路理清楚了,思路不清的后果就是代码越写越乱,最后只能全部推倒重来,事先不画图省下的时间远远比不上最后重写所浪费的时间。
  2. 命名一定要规范
    • 以前刷题的时候,也知道命名规范的重要性,只是没想到会如此重要。之前我的代码风格还算不错,不过一开始写的时候还偷下懒,省掉一两个单词之类,有时心急了还直接用原来的命名方法,用下划线分割单词(Kinect的API里都是用大小写分割单词的),这样写的弊端就是代码也是越来越乱,而且一旦有事中断了几天,回来再看代码就发现看不懂了,于是又简单粗暴推倒重来。所以一定要有一套自己的命名风格,而且不要为了省事少些那一两个单词,敲个长变量名所带来的是代码的高可读性,多耗费的时间远远小于以后推倒重来所浪费的时间!
  3. 不写不必要的注释
    • 到处都是注释,反而大大降低了可读性,一眼看去全是绿的,头都晕了,开发中期我就被自己那么多的注释弄得看见绿代码就想吐,后期只注释主要功能,提高抽象程度,代码反而变得清晰有逻辑。所以那种基本每行都有注释的风格,我并不认同,当然,我说的是代码基本仅供自己一个人看的情况。
  4. 最好进行版本控制
    • 有一次就是,我做了个比较微小的改动,结果怎么调都不对,也已经忘了改动之前是什么状态,简直是有种欲哭无泪的感觉。还有就是进行一个大的改动之后,突然发现之前的那个版本才是对的(哭)。有个版本控制机制的话,这种情况应该能避免很多。
  5. 迭代开发似乎是个不错的办法
    • 之前在知乎上看到一个贴,讲的是新手应该怎样进行开发,提到的一种思路就是进行迭代开发。一开始可能什么都不懂,然后着手做了一部分之后,就对项目有了个大概的轮廓,然后推翻进行新的一轮开发,这时又对未来该怎么做有更清晰的了解,这样不断迭代把项目逐步推向成熟。我是迭代了4次之后出了目前这个基本完成的版本,不过在写的时候没刻意考虑过用这种方法,之所以迭代了4次是因为上面提到的种种原因导致推翻重来(捂脸),不过现在看来这种方法好像真的很合理。
      技术分享

项目介绍

好了,现在正式开始介绍一下项目本身。

背景

这个项目原本是用来参加2016年的微软创新杯,但是在上一周,也就是3月20号的四川省区域赛中未获奖,只能直接参战中国区半决赛。这次区域赛失败的原因有很多,虽然作品已经完成得差不多了,但是没能优秀地将其展示出来,在现成演示的时候还遇到了一个巨大失误,中途才发现,所以没等通知结果就知道多半是悲剧了。第一次参加这类开发类的比赛,就当交学费好了,不过这次区域赛给我的感觉是,微软还是想找几个最有商业前途的作品,这个项目炫是很炫酷,但是实际意义不大的样子,所以感觉中国区半决赛希望也不大。不过无所谓啦,我自己玩得嗨就行了,微软欣不欣赏那是另外一回事,说不定哪天我就搭建出个钢铁侠那样的实验室不是?啊哈哈,最近也顺便把这个项目报成了大学生创新创业训练计划,成功申请到国家级,算是可以安慰一下。

目标

简单来说,此项目就是要把投影仪投出的投影变得可以直接用裸手操控,就好像投影变成了一块大型的平板电脑,投影可以是在投影幕上、墙上甚至桌子上,任何光滑且不是反射材质的平面都行,至于为什么不能是反射材质,等下会有介绍。刚开始是计划达到能用手指直接在投影上写字的精度,后来发现很难做到,瓶颈在于指尖的识别算法不够精确,这是我自己构思的一个简单算法,未来应该会用更高级更精确的算法来替代。

开发环境

Kinect for Windows V2 + Kinect SDK 2.0 + OpenCV 3.0 + Visual Studio Community 2015

Kinect

项目里利用到的一个非常重要的东西就是Kinect for Windows V2,一款微软的动作感应器,可以算成是一类现实增强设备,发布时主要是搭配XBox来玩体感游戏,但是这么厉害的一个东西只能用来玩游戏实在太可惜,所以微软在前几天发布了它的Windows版本,让它能够在PC上进行开发。就是下面这么个东西:
技术分享

原理

原理其实并不算难,主要可以参考下面这张图。
技术分享

  1. 从Kinect获取的整个画面中识别出投影
    • 因为操作要在投影上进行,所以需要先识别出投影是画面中的哪一块,这里用的算法比较简单,先投一副纯色图像出来,然后利用投影区RGB值近似的原理,找出投影的左下角和右上角之后就确定了投影的区域,这样做的缺点是投影区只能是矩形而且不能太歪。其实有时间的话,可以试一下利用9*9的矩阵来找出所有属于边缘的点,然后渲染所有边缘点,也就找出了整个边缘,这样可以适应任意形状。
  2. 从Kinect获取的整个画面中识别出指尖
    • 因为用手指来调用鼠标进行操作,而接触屏幕的地方又是手指的指尖,所以需要识别出指尖。

    一开始我是基于KinectBodyIndex这个数据源来寻找指尖,首先定位出腕关节在哪,然后根据腕关节的位置向上寻找复合指尖特征的点,可以说效果很好,识别非常精确和稳定,而且能同时识别出5个指尖,这部分是我在假期里完成的,本来以为来到学校后将程序根据投影仪调整下就差不多可以用了,然而到校测试后才发现一个致命的问题,就是当手臂贴近墙壁时,整个手臂的BodyIndex数据都丢失了。因为微软似乎认为,如果某个点要是属于人体的话,那么它和背景的深度差至少要有二三十厘米左右(正好是人体的厚度)。这个问题让我失眠了几晚上...不过也是在失眠的时候想出了现在用的解决方法。ds

    现在用的方法是基于`Depth`数据来找指尖的,简单来说就是根据指尖的特点找出所有吻合的点,然后取 位置最高的那个(因为操作的时候用的基本都是一根手指),这样做可以减少很多工作量,因为很多非法点都直接被略去了。
  3. 将手指的位置映射成鼠标的位置
    • 因为想达到手指指哪,鼠标就点击哪的效果,所以必须把手指在投影上的位置,映射成鼠标在电脑里相应的位置,这个其实简单推导一下就可以得出。
      技术分享

      黑色框为投影屏幕,大写的X和Y代表的是屏幕的宽和高,红色框为电脑屏幕,假设人的手指在技术分享的位置,如果想将鼠标也映射到同样的位置,那么就有 技术分享 的等比关系成立。这里投影屏幕的宽和高在上面第一步中获取,而电脑屏幕的宽和高,实际上是不需要考虑分辨率的,因为在鼠标的坐标系下,电脑的宽和高都被分成了65535个单位,所以宽和高可以视为65535。根据这些,就可以算出技术分享的值来。

  4. 根据手指到屏幕的距离,判断点击和非点击两种状态
    • Kinect是带有深度摄像头的,也就是说它能够知道画面中的每一点到它的距离。似乎是利用三组红外发射器来实现,所以也就要求物体不能是反射材质,不然会获取不到距离。因为能够知道屏幕的距离,也能知道手指的距离,所以如果手指距离屏幕足够近,那么就可以判断为点击。但是,屏幕有可能不是绝对垂直的,Kinect也有摆歪的可能性,同时深度数据也不是100%精确,所以在计算屏幕距离时,需要考虑一个容错值,在这个范围内都被视为屏幕,在这里我设置的值是10cm,虽然看上去很多,但是实际效果还不错。但是,这也带来一个很严重的问题,就是手指在离屏幕的位置小于10cm的时候,也被视为了屏幕,这时候指尖就丢失了,手指变成了手指中部(因为手指不是完全平行于墙面的,而是有一定角度,所以指根的地方距离屏幕更远),这就会产生很不稳定的现象,至今没有解决。

上面就是核心的功能,除此之外,还要加入一些鼠标的抖动消除、误差消除的处理,同时我还调用了Kinect的手势识别功能,直接用手势来完成撤销的操作。这段时间忙着找实习,以后有时间的话,应该会优化指尖识别的算法,同时加入更多的手势来调用操作。

效果展示

(博客园的MarkDown居然不可以插视频,差评)

演示视频在这里

直接在墙上玩割绳子:
技术分享

用手在墙上书写(外加用手势来调用撤销):
技术分享

直接裸手操控PPT:
技术分享

END

这个项目差不多就这么多啦,剩下的只是优化下各个功能,或者加点新东西进去。从假期里就构思了一个比较有意思的小程序,等这段时间忙结束,应该就会把它敲出来。真是越来越好玩了!

利用Kinect将投影变得可直接用手操控