首页 > 代码库 > NB大了，增强现实走进安防行业了！居然还有智能家居的规划！
NB大了，增强现实走进安防行业了！居然还有智能家居的规划！
增强现实系统故事性功能讲解
作者：李欢 工号：2288 电话：18938902295邮箱：lihuan@gosuncn.com
前言：
本文仅适用于2014北京安防展，增强现实展区人员学习使用。本文中有大量的故事及案例，读者可以自行学习并选取使用。关于文章内有大量的身体动作指引，不用完全遵从。目的仅是需要通过身体动作吸引听众的注意力，可自由发挥。如果你学习完这些故事后感觉增强现实系统很强大，让你很有自信。作为作者，告诉你，下面的文字全是真实的。
什么是增强现实
（手舞足蹈）你一定看过很多科幻电影吗吧？眼睛所看到的一切画面，都有实时的信息数据在画面里面显示。比如这个人脸的身份信息，车辆的信息，建筑物的信息等。让你的眼睛在看到画面的同时获取到更多的数据，这就是增强现实。
对了，你一定听说过GOOGLEGLASS谷歌眼睛吧，戴上之后（做佩戴的动作），能看到画面里面的各种商户的打折信息。其实它就是一种增强现实的应用。
当然，我们还没有实现科幻片里面那么NB的功能。但是我相信接下来你了解到的一切已经足够让你惊艳了。（气势满满）
物体身份信息显示
画面中车辆行进方向
（指向画面）假设这是一条公路，上面有车在跑。作为看视频图像的人员，你根本不知道这条路哪边是东哪边是西。也就是说你根本不知道这辆车是往什么方向去。除非你是对当地环境非常熟悉的片警，而且一看画面就知道方向。但是绝大部分观看的人员都不知道。这是一个大问题。
画面中行人行进方向
再举个例子，（指向画面）这里有一排楼，有很多饭馆。如果有一个嫌疑人跑进了其中某一栋楼，看图像的民警能马上知道是哪一栋楼吗？根本不可能。如果搞清楚了再去部署抓捕的话，会浪费大量的时间。
我现在告诉你，现在我摄像机的画面里面就有所有物体的信息。比如这栋楼叫什么名字，这家店叫什么名字，这条路叫什么名字是什么方向。（打开增强现实开关）这就是增强现实。现在你是不是会觉得看视频的时候能看到更多的信息了？民警办案的效率是不是越来越高了呢？
在工厂中的应用
这套系统除了在平安城市里面应用，在各行各业中都可以得到很好的应用。举个例子，富士康的生产线非常的忙碌，工人上厕所的时间都精确到秒钟。我们先不管他是不是血汗工厂，我们来设想一下应用。生产线很长（用手比划一下），上面站了很多的工人，现在我用一台增强现实摄像机看着这条线，并且在每一个工位上都标上名字。监工们，光看着画面就知道谁在岗谁不在岗了。你说对吧。
在商场中的应用
我们再来讲讲室内，比如商场。一般在过道里面都装着半球是吧（作一个手托举安装半球的动作）？那么过道的两边都会有很多的商户。现在有一个小偷，偷了钱包，向前跑去然后右转进一家商铺了（手势向前向右转），这个时候你知道他跑进哪家店了吗？肯定不知道。因为目前的摄像机画面是2D的，是没有深度感的。
但是如果我们的画面里面清晰的标明了，这是GUCCI，这是PRADA，这是CHANEL。你肯定马上就能判断出小偷跑进哪里去了。
在工业中的应用
除了上述这些应用，增强现实系统在各行各业中都有出色的表现。比如说视频画面里面直接就显示出各种仪表读数，第一时间可以发现问题。今天要我全讲给你听，可能讲一天都讲不完。你自己就可以设想出很多应用了。
故事才刚开始
现在你大概了解了增强现实系统的样子了，但是你可千万别认为增强现实系统就是打一堆标签这个样子了。现在你了解的东西，是刚刚才开始（微笑）。
信息可选择性开启
传统OSD影响画面
关于画面上这么多的信息数据，你是否会认为它们挡住了画面？这个就是跟传统的字符叠加完全不同的地方了（手指指向画面里面OSD叠加的时间和摄像机名）。你看这个时间字符，是内嵌在画面里面的。它后面的人，就会被挡住。如果是关键嫌疑人，那也没办法了，看不清。现在你别看我的增强系统画面上有这么多的数据信息，挡着了不少地方。没关系，我一个按钮，就全关掉了，再点一下，就显示出来了！这个数据不是内嵌在视频里面的，而是在视频上面一层。
可根据兴趣显示内容
当然，不仅仅是可以全部关闭和开启。还可以根据你个人的工作需要，选择性的开启某些信息。也许你只想看楼房的名字，也许你只想看经纬度，也许你只想看仪表数据。这些选择性全部都会保存在你的用户配置文件中的。
物体详细信息显示
寻找目击证人
刚才讲了那么多，只是很简单的标签名称显示。我们举个例子，（手指指向画面中的某一处）这里发生了一起抢劫案。你作为办案民警，你希望能找到目击证人，对吧？你怎么找呢？看着这个路口的画面，周围都是来来往往的人，根本没办法找到一个在场人员的联系方式。
不过你发现没有，在案发地旁边有一个楼房，顶着一个“工商银行”的标签（展出时可能是某一厂商的名字）。这个标签前面有一个“文档”形状的小图标，表示这个标签是有内容的。
我们点击这个标签看看（用手去点击标签）。看到没有？这个标签下面还有这么多的丰富内容。有详细地址，有图片，有企业联系人，有安保联系人，还有责任派出所以及片区民警的联络电话等。
这个时候，你点击一下这个电话，就直接拨打出去了。这下就可以了解在案发时，有没有目击证人了。
商场打折信息
假设这台摄像机是安装在风景区，除了显示美丽的风景画面以外，还可以看到各种风景的数据，比如历史故事、温湿度、海拔，甚至里面还一些各个商场的商品打折促销数据等等。只有想不到没有做不到。
信息随球机转动精确定位
实时随动
我们可以想到，在固定的枪机里面实现这些标签非常的容易。球机行不行呢？当然可以，但是实现难度非常的高。每个标签都拥有一个真实世界里面的3D时空坐标。只有当你画面看见的地方，标签才会显示。而且在你转动球机的时候，标签会跟着转动（现场转动球机）。
精确定位
为什么刚才说到球机的技术难度较高呢？你想想看，如果我每转动一圈，我的标签就会偏一点，那我转动个几十圈之后，标签都不知道偏到哪里去了，可能已经指到别的楼房上面去了（手指到别的区域）。
本来就有很多不精确的因素，但是我们通过一些专利算法（手指到旁边的宣传画板），将精度误差控制在1度以下。也就是说，不管你怎么转动，标签最多偏差1度的位置。
信息随球机拉远拉近分层显示
电子地图的分层显示
如果这个球机的视野里面有100个标签，全部堆在画面上，你根本就看不了。对吧？除了选择性开启标签以外，还有一个办法。这个就是现在要说的问题。
刚才说了球机的转动，那球机还有一个拉远拉近的问题。还记得我们平时用的电子地图吗？你先看到的是中国，然后放大，广东省出来了，然后再放大，又能看到广州、深圳了，再放大可以看到福田区、南山区了。我们将这个分层显示的技术用到了我们的增强现实球机里面。当你拉近时，上一级标签就消失了，你能看到当前画面里面的标签。
是不是很酷？
有人跳楼
我举一个例子，你的球机正看着一条街，旁边有4栋楼，分别是打着ABCD四个标签。现在你将画面拉近看A号楼，ABCD四个标签不见了，现在你看到的就是一堆窗户。每一个窗户上面挂着一个门牌号的标签。
假设某一个窗户发生了案件，比如说有个人跳了下去。原本的视频画面中，你根本不可能知道那个窗户是几栋几楼几号。你必须要到现场去排查才能了解。现在方便了，你一看到那个窗户，就知道是A栋502室。
这样极大的提升了民警的办案效率，你说是吧？
城市远处着火
再说了，如果我这是一个高点监控。突然发现画面里面的远处有一栋楼着火了。在传统视频监控领域里面，完全没有办法知道是哪栋楼着火了。现在简单了，把镜头拉过去一看，那栋楼上顶着一个标签“XX大厦”。马上通知火警。
标签可触发响应
标签居中
没想到这个小小的标签能做这么多事吧？刚才我给你演示了一个功能，就是标签可以点击，展开看到里面的详细信息。包括地址啊，联系人啊，联系电话啊什么的。其实这表示了一个概念，就是这个标签可以响应点击。点击之后就可以设计出很多有意思的功能了。
比如说，你觉得你对画面右上角的那栋楼很感兴趣。你如果要控制云台转动过去，很麻烦，不好操作，也不准确。现在我提供一个简易的方法，你用鼠标点那个标签，下面有个图钉，你再点一下那个图钉（真实去点击演示）。啪的一下，那栋楼就直接转动出现在了画面的中心。
画中画
再给你讲一个更有意思的应用。假设这里发生案件了（用手指着画面内某处），你发现这个摄像机的视角看不全面，希望知道还有没有别的摄像机能从另外的角度看过来。这时你发现，就在画面里面的一个角度上，还有一个监控摄像机。
这时你有两种方法可以看到它的图像。第一种就是到平台软件上面的摄像机列表里面去查找，然后点开播放。第二种就是到电子地图上面去找到这个摄像机，然后播放画面。你不觉得很麻烦很复杂吗？
现在你不用这么麻烦了，看到这个标签没（指向画面里那台摄像机上面的标签）？你点它标签，然后再点击这个播放按钮。目标摄像机的画面就出现了。这是画中画的模式哦！
现在为此，我给你讲的应用都是摄像机自带的功能哦，完全不需要平台的参与。（手指向画中画）现在你再也不用到平台界面上去找这个摄像机了，直接就能看到它的图像。很有意思吧？
你还可以双击它（双击画中画），可以直接进入其全屏播放的画面。当然，右上角有个关闭按钮，点击它回到原本摄像机界面。这样的话，极大的方便了办案民警。你觉得这个应用有不有价值？
其它应用
当然，除了上面提到的应用，还有很多的玩法。比如打电话，弹出网页等等。其实它的基本原理很简单，就是所有的标签都可以响应点击，以触发某种自定义的行为。
标签搜索及定位
颠覆110报警平台
现在我再给你讲一个很酷的事儿。我们的增强现实系统的推出，完全有可能颠覆了现有110报警平台的工作。也许不能用颠覆这个词，我们讲极大的促进了110报警平台的工作吧。
假设你在一家餐厅吃饭，钱包丢了。这个时候你打110报警。接警员会问你发生什么事情了，你人在哪里，然后派警察过来。按照目前的正常情况，你还会在接下来的半个小时里面接到几个问路电话，然后才能看见姗姗来迟的警察叔叔。对吧？除非片警对你所在的区域非常非常的熟悉，才有可能在10分钟内赶到。谁能轻松的找到一家小餐厅呢？
现在不一样了，你110一打通，说我在XX路XX饭店门口。接线员就可以把你说的XX路和XX饭店的字样敲进系统里面。刹那间，所有能看到你的，能动的摄像机都齐刷刷地转过来看着你。然后你会听到110接线员这样告诉你，我已经看到你了，请继续讲。
怎么样？你原来要花半个小时才能等到警察，现在可能只要5秒钟他就能看到你周围的情况了。我想，科幻片也不过如此吧。其实原理也很简单，刚才我不是给你讲了以标签为中心转动摄像机的功能吗？现在我只需要在后台输入你说的街道名称和饭店名称，后台就会自动在系统中搜索匹配的标签，找到它以后，球机都自动转过去看着你了，你正站在那标签下面打电话。当然，在平台里面使用时，有可能有多个摄像机都有这个标签，那就更好了。多个摄像机在第一时刻，同一时刻一起转过来看着你，多种角度。你觉得怎么样？
其它应用
其实这个标签搜索及定位的功能不光是用在这里。在很多领域都可以使用。当你想看哪里，就看哪里。就有点像球机的预置位功能一样，预置位不都可以取名字吗？但是，增强现实的标签技术完全和预置位不一样，而且技术远远超过预置位功能很远。
增强的录像回放
录像在画面内实时回放
不知道你注意到没有，在这个画面里面有一个录像回放的按钮（手指向那个按钮）。这是一个很有意思的事儿，你希望回放当前摄像机的录像时，再也不用去找录像播放工具去查找录像再播放了。就在这儿点一下，看到没（手指向进度条），已经进入录像回放功能了。
而且你发现没有？你回放的不光是录像，所有的增强现实数据信息也完整的录下来了！是不是特别有意思？刚才给你讲过，不用平台就可以播放另一台摄像机的图像。现在又给你讲，不用录像回放客户端，就在画面里面就能回放录像。当然，它只能回放本地录像。不过，你一定感受到这一点了，这个增强现实摄像机，不用平台，自己就能组网工作了！
太强大了是不是？你说得确实是。增强现实摄像机没有平台能用，但如果有了平台，那花样就玩儿大了！不过呢，平台的玩法等会儿再给你讲。现在只讲摄像机！
录像可编辑
既然现在我们讲到了录像的功能。那就不得不讲一下录像功能的颠覆之处了。记得最开始的时候，我们提到了，增强现实系统的原理就是将各种信息叠加在视频画面上。那录像除了把实时画面的增强信息录制下来，还可以进行编辑。注意看这里，（指向录像界面某处）这里发生了一起案件。你作为一个公安民警，在分析录像时，把各种文字、图片、声音，全部添加进录像里面了。
增强现实录像可传递
这个时候，你把这份录像文件拷贝给另一个同事后，他打开录像就能看到所有你做的编辑批注了。这在串并案分析时特别有效。你想想看，不再需要不同的民警分别再去查数据库了，极大的提升了办案效率！
地理信息感知
飞行员座舱
为了做到这么多标签的精确定位，我的摄像机里面加装了各种各样的传感器。现在我给你展示一个高科技。（点开传感器数据画面）怎么样？是不是有开飞机的感觉了？密密麻麻的各种数据，这是水平倾角，这是垂直倾角，这是方位角，这是磁场，这是经纬度，这是重力加速度，这是海拔等等等等。
森林防火
刚才我们讲过一个故事，就是城市里面有个楼着火了，我们可以把镜头拉近去看是哪栋楼，还记得吧。现在如果不是城市，而是用来森林防火，怎么办？森林哪有什么标签名字。
现在我这个展示一个功能，假设这里着火了，我点一下这里（指向画面某处）。测距！看到没，镜头自动转到这里了，着火点离我镜头的距离是多远，着火点的经纬度坐标全部都显示出来了。牛吧？这个时候你就可以直接报火警了！
当然，这些数据还可以有大量的应用。今天没办法一一讲给你听了。
平台应用
平台级标签搜索定位
这套系统不加平台就能实现这么多的功能特性了。如果加上平台就更多的花样了。刚才不是讲了颠覆110的故事了吗？那就是平台的一个应用。在全局里面搜索标签，使多台摄像机设备在第一时间都转过去看着你。
监控无死角覆盖
所有的精确定位都依赖于摄像机身上的传感器。一旦有了这些传感器，我就能清楚地知道摄像机正在看着什么方向。对吧？这个特性太有用处了！首先在平安城市中我就能实现监控的无死角覆盖。
在平台的电子地图上，每个摄像机都有一个扇形标记着它当前实时的监控方向。从电子地图上，一眼就可以看出哪个地方没有被摄像机覆盖到，是否需要增加摄像机。假设这里有一个球机（指向屏幕中某处），在不停的转动，我们可以看到它的扇形也在地图上转动。做平安城市设计的人或实战的公安会发现，当球机转到某一个方向时，它的背后就是一片盲区，没有任何别的摄像机能帮它补盲。这时，是否要增加摄像机，是否要别的球机转动过来补盲。这就是一门科学。
实战布控
同样的道理，这在实战布控抓捕时非常有用。假设这是我的电子地图（指向屏幕），一嫌疑人开着车从左边向右边开过来（手从左到右），在右边这儿（指向某处）你认为是有一个摄像机的。可是你不知道，这个摄像机根本就没有看着左边！
怎么办？现在简单了，在地图上面拉一个框，让框里面的摄像机全部向左边看！你会发现，所有球机前面的扇形区域，慢慢都转动到左边来了！
以前的你根本办不到这个事！你只能点进画面里面去看看是什么方向，还不一定看得出来。看出来后，还得手一步一步的转动云台。是不是这样？这个功能太牛了吧，至少我自己是这么感觉的。
3D全景融合
不知道你听没听过一种叫3D全景融合的技术。现在国内有几家企业正在做这个事。它这个技术有点意思，比如它要监控天安门广场，它会把整个天安门广场全部3D建模。然后倒处布满了枪机，再把所有枪机的画面拼接到3D场景中的路面上。不知道我说得明白不，这个你没看到东西可能不太好理解。总而言之，你作为用户，你看天安门广场，就好像坐在直升飞机上面，可以看到整个场景。楼房是假的，人车路都是真的。
那么这个技术只能用在枪机上，因为球机会转来转去，两个画面之间没办法动态的拼接。现在就可以了，所有枪还是球，不管你转到什么地方去，我都能获取摄像机的姿态数据，进行动态拼接，再也不用人工去测量了。
兼容性
传输兼容性
兼容性是很重要的一个概念。很多朋友都问到了这个问题。这次我们推出的增强现实摄像机，不是必须要配置我们的平台软件的。你海康的平台可以用，大华的平台也可以用，完全没有兼容性的问题。但是你是看不到增强现实的数据信息了，它在传统平台下面就是一个普通摄像机了。
首先我们从传输的角度来讲，目前推出的增强现实摄像机全部是按照28181这个国家标准来的，没有任何的不同。
编码兼容性
编解码方面，我们是标准的H.264和SVAC协议。所有的增强现实数据均智能复合在码流里面的。不影响任何标准解码和图像显示。
增强现实数据显示兼容性
如果你拿到增强现实摄像机的码流数据后希望能够显示增强的信息。有三种方法：
当然第一种就是你用我的平台，什么功能都有了。
第二种就是你用我的SDK解码，所有信息都会出来，就跟你现在看到的界面一样。
第三种就是，如果你想要一个更炫的界面，我们开放码流数据格式，你可以自行开发。
大数据
非结构化数据的结构化描述
公安部第三研究所提出一个大型的课题叫做“非结构化数据的结构化描述”，简而言之就是做视频的智能分析。视频是非结构化的数据嘛，通过算法尽可能分析出里面的一些信息，这些信息就是结构化的数据了。
前景结构化
讲这个智能分析就不得不给你普及一下智能分析的基础概念了。假设这个展馆是空的，我先拍一张照。这个叫做背景。这时候你走进来了，在这个背景上面移动，你叫做前景。
现在的智能分析算法只能计算变化量，也就是正在移动的你。它能分析出你移动的速度，方向，距离。最后说你不能越过这条线，这就是行为分析。我们换个语言就是，前景的结构化分析。
背景结构化
今天，我的增强现实干了一件什么事儿？我把整个视频的背景给结构化了！你说对不对？
为大数据分析提供数据支撑
这为智能分析开启了一个崭新的方向！这就是后续大数据时代提供了精确的数据源啊！
安装维护
信息数据从来哪？
几乎所有人都问了这个问题。数据从哪来？
我可以很肯定的告诉你，按照目前的科技，所有数据都得人工来录入。
人工录入有两个方案：
第一个方案就是，你付服务费给我，我派员工去给你录入。因为我的人不熟悉当地，所以实地调研的成本是非常高的。这样是很不划算的，我非常建议你采纳我的第二个方案。
就是公安给每一个片警下任务，每天完成一个或两个摄像机的标签配置，因为片警对当地较熟悉，完成速度是相对较快的。两三个月后，整个城市的标签就打完了。这样是成本最低，效率最高的方案。
楼房拆了或者商户换了怎么办？
楼房拆了或者商户换了这个问题不好处理，目前的技术而言，只能靠片警来维护和刷新摄像机的数据。
摄像机换了怎么办？
如果摄像机换了，这个就是技术问题了。所有的数据在配置好了之后会传输到后台，当你换了摄像机后，后台数据会自动更新到新摄像机里面的。
未来发展
全球3D空间坐标唯一化
未来，会使用全球唯一的3D空间坐标，但是现在不行。目前所有的标签是以摄像机为单位的。因为目前所有传感器都有精度误差，镜头边缘有畸变，镜头光芯不准确等很多问题。会导致3D空间在2D平面上的投影不准确，也就是标签跑歪了。
当然，全球唯一3D坐标是最完美的方案。所有摄像机只需要读取数据库，就能在画面中显示各个标签了。
前景目标历史资料提取
比如说和人脸识别配合，就跟科幻片是一样的。当画面检测到人脸时，所有这张人脸的信息，比如个人档案，都会在同一个画面里面显示。
丰富图侦手段
当然，增强现实系统对图侦来讲，是一次质的飞跃。办案民警现在所用的图侦系统不过是行为分析、人脸车牌提取、视频摘要、以图找图等应用。未来，图侦系统将会连背景场景信息都一起分析了。应用之多不可想象。
国家标准甚至全球标准
公安部第一研究所正与高新兴合作，将增强现实做为中国平安城市建设的标准。目前，正合作研究增强信息的编码、格式、解码等领域的标准化工作。
智能家居
现在民用家用安防市场正在如火如荼地发展。但是摄像机要想进入智能家居行业，很难有一个切入点。现在几大互联网厂商都在争夺客厅的入口。但是你有没有发现一个问题？当所有家居终端产品都还没有智能化的时候，智能家居中你能控制什么东西？无非就是那些目前能用红外遥控器控制的东西了。比如电视机，空调等。
空调就是所有智能家居必讲的故事之一了。在下班回家之前，先用手机打开家的空调，回到家以后就会非常舒服了。但这里就有一个很严重的问题。空调和电视机都是通过红外线进行遥控的。但红外线是单向的，指令发出去后是不会得到回复的。也就是说，空调打开没有，你根本不知道。电视打开没有，你也根本不知道。对不对？
如果你拥有了我们的增强现实家用摄像机。这一切都变得简单了，增强现实让所有家电控制变成真正的所见即所得！
我只需要看着家的视频画面，在画面里面点一下电视机，我可以看到电视机打开了。再在画面里面点一下空调，可以看到空调打开了，视频里还可以调温度，最后温度数据有没有设定成功，通过视频也就看到了。
其实，当你有了增强现实画面以后。可以玩的东西就太多了。比如电动窗帘，我在视频画面里面滑动窗帘到2/3的位置，可以看到家里的窗帘真正的滑到了2/3的位置。我可以开关灯，可以指定开关草地的喷水器等等。
总之，就是所见即所得！这是在智能家居里面很重要的一个概念！只有增强现实摄像机可以办到！你说炫不炫！
言犹未尽
管中窥豹，可见一斑
今天讲了这么多增强现实摄像机的能力，注意了，只是讲的摄像机。未来我们公司即将发布的是整个增强现实系统！
到时候会举办真正的正式的发布会，如果今天这些功能都让你晕了，到时候你肯定会吓坏。
我们一起期待，科幻走进现实！
NB大了，增强现实走进安防行业了！居然还有智能家居的规划！