首页 > 代码库 > 虚拟现实与增强现实(眼镜或头盔)的现状与未来-简介

虚拟现实与增强现实(眼镜或头盔)的现状与未来-简介

增强现实技术是由虚拟现实技术发展而来,最早应用于军事,今年开始,由于智能手机的普及、智能硬件的兴起以及Google Glass的出现,增强现实技术被大量关注,就目前来看,我比较看好未来的增强现实技术。

一、现在的虚拟现实(Virtual Reality,简称VR)
虚拟现实技术利用计算机创造一个虚拟空间,利用虚拟现实眼镜能够使用户完全沉浸在一个虚拟的合成环境中,无法看到真实环境;利用双目视觉原理,虚拟世界在眼镜中是3D立体的。
1、VR头盔:目前比较有名的是被Facebook收购的Oculus公司,Oculus眼镜可以展示例如Unity这样的软件构建的虚拟场景,并且让用户沉浸在虚拟世界中过山车、玩游戏、看电影等等。
2、VR眼镜:目前解决方案是一种头戴式手机框,将智能手机放入并且分屏显示,就可以产生类似于VR头盔的效果,如三星Gear VR
在未来,虚拟现实不仅仅会涉及视觉、听觉,还会涉及嗅觉、触觉、味觉,构造一个与真实环境相似的世界。

二、现在的增强现实(Augmented Reality,简称AR)
增强现实技术能够把虚拟信息(物体、图片、视频、声音等等)融合在现实环境中,将现实世界丰富起来,构建一个更加全面、更加美好的世界。Google Glass开始,增强现实眼镜开始不断出现,但都还是初级产品,这些眼镜能够做到给用户呈现一些简单的辅助信息,但复杂信息就无能为力了。
1、单目眼镜:Google Glass,单眼呈现信息,导航、短信、电话、录像照相等功能,由于是单眼,无法呈现3D效果,且由于外观原因应用场景有限。
2、双目眼镜:Meta Glass, 双眼呈现影像时,利用双目视差可以产生开发者想要的3D效果。通过对现实场景的探测并补充信息,佩戴者会得到现实世界无法快速得到的信息;而且由于交互方式更加自然,这些虚拟物品也更加真实

三、未来的增强现实
在未来,我们佩戴的眼镜或隐形眼镜会再一次变革我们的通讯设备、办公设备、娱乐设备等等;在未来,我们不再需要电脑、手机等实体,只需在双眼中投射屏幕的影响,即可创造出悬空的屏幕以及3D立体的操作界面;在未来,人眼的边界将被再一次打开,双手的界限将被再一次突破,几千公里外的朋友可以立即出现在面前与你面对面对话,你也将会触摸到虚幻世界的任何物件;在未来,一挥手你就可以完全沉浸在另一个虚拟世界,一杯茶,一片海,甚至是另一个人生、现实世界无法到达的千千万万种可能的人生。

 

四、双目成像原理简介(自己整理,欢迎指正)



将 3D 成像效果分为三个纬度:远近,前后,深浅。

远近:整个场景在脑海中的远近效果;

前后:图像在屏幕的前(出屏幕效果)或屏幕后;

深浅:场景中各个物体距离所产生的层次;

1、远近调节:

场景远近是左右眼两影像间距离决定的;

立体像在屏幕前时,两影像距离越远则图像越近;

立体像在屏幕后时,两影像距离越远则图像越远; 





2、前后调节:

左(右)眼对左(右)相机影像,则图像在屏幕后方;

左(右)眼对右(左)相机影像,则图像在屏幕前方; 



3、深浅调节:

由 3D 摄像机两个摄像头的间距决定;

间距大则景深大,间距小则景深小; 


由于人眼目距在65mm左右,大脑已经习惯此目距的景深效果,我认为对还原真实场景效果来说,摄像头间距65mm还是比较合理。

五、现有可穿戴虚拟现实或增强现实眼镜产品及其技术种类

 

增强现实眼镜简单调研报告

 

一、增强现实眼镜(Argumented Reality Glasses)的发展历史

    增强世界博览会(ArgumentedWorld Expo)上展出了增强现实眼镜近50年的发展历史,从1968年犹他大学科学家伊凡的第一代眼镜“达摩克利斯之剑”问世开始,增强现实眼镜的研发脚步从来没有停止过。

    经过无数科技人不断的努力,增强现实眼镜已经更新迭代出了第一代的头盔式单屏幕显示器,第二代头箍式摆动显示器,第三代眼镜式单晶显示屏,知道如今的第四代各种3D增强的眼镜式产品,已经可谓是百家争鸣,百花齐放。

二、主流增强现实眼镜的实现技术手段

1、透明显示屏

爱普生MoverioBT-200智能眼镜

以Google Glass为主的大部分智能眼镜产品主要采取了透明显示屏技术,与Google Glass眼镜不同的是,爱普生Moverio BT-200尽管同样采用透明显示屏技术,但是区别在于它在两个镜片上都嵌入了一块透明显示屏,所以能够在眼前形成一幅3D立体视觉效果。

2、虚拟视网膜显示(Virtual Retinal Display)技术

    视网膜显示器能够通过低强度激光或者发光二极管直接将影像投射到使用者的视网膜上,具有不遮挡视野的特点。这一概念是在20多年前提出的,但直到近些年来技术进步才让各种不同的视网膜显示变得可行。比如边发射发光二极管,其比面发射发光二极管的光输出功率大,但比激光的功率要求低,将其应用于视网膜显示器,可提供一个亮度更高而成本更低的选择。与传统显示器相比,视网膜显示器的亮度-功率比更高,能耗也会相应地大幅降低。

   VRD有点类似传统的CRT电视的成像原理,电子枪将光线投射在玻璃屏幕上。在应用VRD的眼镜中,没有这层玻璃将光线吸收并转发到真实的世界,它们的VRD图像会直接投射到用户眼中的视网膜上。

    以这种成像方式,VRD技术会比传统的显示器更让AR有感觉。因为传统的显示技术中,图像被分层堆积在现实世界,巨大的文字或提示信息会浮于实景之上。而VRD设备所产生的画面,会成为你真实视野的一部分,你会完全融入现实,而不会只觉得你的视野被某些信息所覆盖。这在实际应用中,可以解决许多现实问题。例如当你遥控机器人时,你希望获得机器人“全屏”的第一人称视野,而不是以一个视频匡的形式,显示在你视野的右上角。单眼的谷歌眼镜,更不可能让你有这种身临其境的感觉。

    现在正在使用VRD技术的眼镜主要是Avegant公司的Glyph。

3、半透明分光式LCD投影

投影模块

像其他眼镜式设备一样它也是投影式成像,造型极其紧凑的投影仪藏在镜框内,左右各有一个。由LED光源将半透式LCD上的影像投射到分光镜片上成像,从而提供了立体视觉。投影仪的TFT LCD分辨率为960×540像素。


MetaGlass投影模块

镜片

采用半透明分光镜镜片,这样就让你看到的现实场景上,又叠加了一层投影机传来的影像。

MetaGlass摄像头

4、ToF摄像头

它由一对高清摄像头和一个红外探测器组成,可以实现深度探测。所谓ToF是Time of Flight的缩写,也就是光的飞行时间,通过测量光脉冲之间的传输延迟时间,就能得到物体的深度信息。

这个模块担负的责任很大,包括手势识别、QR码(二维码的一种)跟踪、特征跟踪、惯性测量单元等,算得上这个眼镜的核心输入组件。

最后给出官方提供的一些参数:

双960×540像素透过式TFT LCD显示, 23°视野720p RGB 摄像头320×240 像素红外深度探测摄像头三轴加速度传感器、三轴陀螺仪、三轴罗盘

 

5、单色玻璃投影

 

   Glass Up最核心的特点在于它的右侧镜架上提供一个微型投影仪,可以在右侧镜面表面投射单色图像,让你来阅读信息、文字或者浏览图片。尽管不能像谷歌眼镜那样实时抓拍或录像,但是相比于售价和外观,已经足够令人心动。

 

 

三、一些构想——全新的交互

1、眼镜几个思路

1)基本条件:不累眼睛,外观漂亮,交互自然,开发流畅;

2)场景获取:需要对外界场景有感知能力,甚至是重建能力;

3)显示方式:我认为以屏幕显示的方式,才能达到想要达到的理想效果,但目前似乎还有更好的技术在研究中,例如Magic Leap这种秘密项目;

4)需要以惊艳的方式让人用,随后独立开发和商业应用再跟上;

5)创造新的显示方式、交互方式,创造全新的体验。

2、新的交互系统设想

1)基本可调用的接口:两眼显示、两个摄像头影像、手势获取、手势深度、三轴加速度计、陀螺仪、GPS、网络、蓝牙等外接设备接口

 

2)基本交互逻辑:

l   两组坐标基底:相对于真实世界(可固定屏幕、固定物件等显示效果)、相对于眼镜(可跟随头部位置显示);

l   有效指尖标亮:当前识别到的手指之间标记出来,方便用户感知与调整;

l   可触摸:相对真实的距离中,手指碰到的物件有一定响应(如触碰物相对高亮、或者指尖相对高亮);

l   可旋转:空间由平面扩展到真实世界,物件可以被任意旋转和缩放

l   规整:按坐标规整视野内窗口或物件

 

3)一些具体的交互功能

l   双手五指向前推,从后向前推出所有应用图标,以及所有打开的应用,排布在视野周围

l   双手五指向两侧拨开,放大视野、图片等

l   手臂向下挥动,退出当前应用

l   单手五指,拖移最小可移动物件、以及选中文字、旋转物件等,包括列表、界面的拖移,缩放触碰的图片等

l   两指从捏紧到打开,实现打开文件功能

l   三指滚动页面

l   单指长触或两指触碰实现辅助点按(右键)

 

l   左手两指打开,配合右手多选

l   单手五指先选中,另一只手从这只手上移开,实现复制功能

 

l   屏幕锁定功能:当用户需要暂时固定所有内容,防止误操作的时候使用;

l   远距提示或者收藏到后台:当用户离开固定屏幕一定距离时生效;

 

欢迎补充 

谢谢





虚拟现实与增强现实(眼镜或头盔)的现状与未来-简介