增强现实
增强现实(Augmented Reality,简称AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,最早于1990年提出。
其运用多种技术手段,将计算机生成的虚拟物体或关于真实物体的非几何信息叠加到真实世界的场景之上,从而实现对真实世界的增强。
- 技术原理
增强现实(Augmented Reality,简称AR),也被称为扩增现实(台湾)。 AR汽车展
增强现实技术,它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
增强现实技术,不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。在视觉化的增强现实中,用户利用头盔显示器,把真实世界与电脑图形多重合成在一起,便可以看到真实的世界围绕着它。
增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器溶合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下,不同于人类可以感知的信息。
增强现实技术
真实的环境和虚拟的物体实时地叠加
- 主要特点
AR系统具有三个突出的特点:
①真实世界和虚拟世界的信息集成;
②具有实时交互性;
③是在三维尺度空间中增添定位虚拟物体。AR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。
- 组成形式
一个完整的增强现实系统是由一组紧密联结、实时工作的硬件部件与相关的软件系统协同实现的,常用的有如下三种组成形式。
Monitor-Based 增强现实
在基于计算机显示器的AR实现方案中,摄像机摄取的真实世界图像输入到计算机中,与计算机图形系统产生的虚拟景象合成,并输出到屏幕显示器。用户从屏幕上看到最终的增强场景图片。它虽然简单,但不能带给用户多少沉浸感。Monitor-Based增强现实系统实现方案如下图所示。
Monitor-based增强现实系统
光学透视式
头盔式显示器(Head-mounted displays,简称HMD)被广泛应用于虚拟现实系统中,用以增强用户的视觉沉浸感。增强现实技术的研究者们也采用了类似的显示技术,这就是在AR中广泛应用的穿透式HMD。根据具体实现原理又划分为两大类,分别是基于光学原理的穿透式HMD(Optical See-through HMD)和基于视频合成技术的穿透式HMD(Video See-through HMD)。光学透视式增强现实系统实现方案如下图所示。
光学透视式增强现实系统具有简单、分辨率高、没有视觉偏差等优点,但它同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等不足。
视频透视式
视频透视式增强现实系统采用的基于视频合成技术的穿透式HMD(Video See-through HMD),实现方案如图5所示。
视频透视式增强现实系统
Monitor-Based增强现实系统实现方案光学透视式,视频透视式
了解更多的VR知识
市场发展
增强现实来自Digi-Capital的报告显示,2015年,投资者对虚拟现实和现实增强领域的投资总额接近7亿美元。
报告同时显示,2015年,虚拟现实/现实增强市场通过并购完成的投资退出达到3.11亿美元。考虑到这一行业还处于起步阶段,因此这一数据很正常。报告强调,随着领先者在竞争中脱颖而出,行业很可能会出现大规模改变。
报告中还表示,神秘创业公司Magic Leap将会是市场的一股重要力量。2014年,谷歌领投了该公司5.42亿美元的B轮融资。不过,报告并未给出Magic Leap去年融资的情况。此前《福布斯》报道称,该公司2015年的融资额达到8.27亿美元。
应用领域
AR技术不仅在与VR技术相类似的应用领域,诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用,而且由于其具有能够对真实环境进行增强显示输出的特性,在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域,具有比VR技术更加明显的优势。
* 医疗领域:医生可以利用增强现实技术,轻易地进行手术部位的精确定位。
* 军事领域:部队可以利用增强现实技术,进行方位的识别,获得实时所在地点的地理数据等重要军事数据。
* 古迹复原和数字化文化遗产保护:文化古迹的信息以增强现实的方式提供给参观者,用户不仅可以通过HMD看到古迹的文字解说,还能看到遗址上残缺部分的虚拟重构。 增强现实
* 工业维修领域:通过头盔式显示器将多种辅助信息显示给用户,包括虚拟仪表的面板、被维修设备的内部结构、被维修设备零件图等。
*网络视频通讯领域:该系统使用增强现实和人脸跟踪技术,在通话的同时在通话者的面部实时叠加一些如帽子、眼镜等虚拟物体,在很大程度上提高了视频对话的趣味性。
* 电视转播领域:通过增强现实技术可以在转播体育比赛的时候实时的将辅助信息叠加到画面中,使得观众可以得到更多的信息。
* 娱乐、游戏领域:增强现实游戏可以让位于全球不同地点的玩家,共同进入一个真实的自然场景,以虚拟替身的形式,进行网络对战。
* 旅游、展览领域:人们在浏览、参观的同时,通过增强现实技术将接收到途经建筑的相关资料,观看展品的相关数据资料。
* 市政建设规划:采用增强现实技术将规划效果叠加真实场景中以直接获得规划的效果。
国内比较权威的增强现实学者是北京理工大学光电工程系的王涌天教授
国内首次将这项技术应用到普通生活中,是在苹果的AppStore上发布的一款免费的叫作出行百科(增强现实版)XINGWIKI的软件。
记事帖,人们希望将来可以很方便的在不同地点获得同样的媒体和信息,并且是跨越不同的设备上获得-从PC到手机,从投影仪到头戴式显示器。怎样能为用户提供一致的和方便易行的方式来让他们和对他们而言很重要的信息和媒体进行交互,看以下的图你就明白了,你所能操作的界面已经不再是那一块小小的电脑屏幕了,而是延伸到了更大的空间里,并且可以依据人们最为简便的方式随意的记录下你某一时刻突然迸发出的灵感。
发展历史
增强现实增强现实显示器,将计算机生成的图形叠加到真实世界中。自从二十世纪七十年代早期,Pong进入电子游戏厅以
来,视频游戏走进我们的生活已经有30多年了,但是一直局限在屏幕中的2D世界中,而增强现实这一新技术的到来,将通过增强我们的见、声、闻、触和听,进一步模糊真实世界与计算机所生成的虚拟世界之间的界线。
从虚拟现实(创建身临其境的、计算机生成的环境)和真实世界之间的光谱来看,增强现实更接近真实世界。增强现实将图像、声音、触觉和气味按其存在形式添加到自然世界中。由此可以预见视频游戏会推动增强现实的发展,但是这项技术将不仅仅局限于此,而会有无数种应用。从旅行团到军队的每个人都可以通过此技术将计算机生成的图像放在其视野之内,并从中获益。
增强现实将真正改变我们观察世界的方式。想像您自己行走在或者驱车行驶在路上。通过增强现实显示器(最终看起来像一副普通的眼镜),信息化图像将出现在您的视野之内,并且所播放的声音将与您所看到的景象保持同步。这些增强信息将随时更新,以反映当时大脑的活动。在这篇文章中,我们将了解这项未来技术、其技术构成以及如何使用该技术。
google 发布的 google glass是全球唯一一款真正意义上实现增强现实技术的硬件设备。
Ingress 是全球最受欢迎的增强现实APP。
工作原理
增强现实移动式增强现实系统的早期原型增强现实的基本理念是将图像、声音和其他感官增强功能实时添加到真实世界的环境中。听起来十分简单。而且,电视网络通过使用图像实现上述目的不是已经有数十年的历史了吗?的确是这样,但是电视网络所做的只是显示不能随着摄像机移动而进行调整的静态图像。增强现实远比您在电视广播中见到的任何技术都要先进,尽管增强现实的早期版本一开始是出现在通过电视播放的比赛和橄榄球比赛中,例如Racef/x和添加的第一次进攻线,它们都是由SporTVision创造的。这些系统只能显示从一个视角所能看到的图像。下一代增强现实系统将显示能从所有观看者的视角看到的图像。
在各类大学和高新技术企业中,增强现实还处于研发的初级阶段。最终,可能到这个十年结束的时候,我们将看到第一批大量投放市场的增强现实系统。一个研究者将其称为“21世纪的随身听”。增强现实要努力实现的不仅是将图像实时添加到真实的环境中,而且还要更改这些图像以适应用户的头部及眼睛的转动,以便图像始终在用户视角范围内。下面是使增强现实系统正常工作所需的三个组件:
1.头戴式显示器
2.跟踪系统
3.移动计算能力
增强现实的开发人员的目标是将这三个组件集成到一个单元中,放置在用带子绑定的设备中,该设备能以无线方式将信息转播到类似于普通眼镜的显示器上。让我们分别来了解这个系统中的每个组件。
相关介绍
谷歌眼镜
谷歌眼镜 (Google Glass),是由谷歌公司于2012年4月发布的一款“拓展现实”眼镜,它具有和智能手机一样的功能,可以通过声音控制拍照,视频通话和辨明方向以及上网冲浪、处理文字信息和电子邮件等。Google glass是唯一一款真正意义上实现增强现实技术的硬件设备。
浸世界
浸世界 (ingress) 是增强现实技术(Augmented Reality)的大型多人在线游戏(MMOG)。只有安卓版。
2012年11月16日,谷歌方面声称该游戏即将推出苹果IOS版,因此苹果IOS用户仍需等待一段时间。
Ingress是最受欢迎的增强现实移动端应用。
头戴式
增强现实显示器仍相当笨重,但开发人员相信他们可以开发出类似眼镜的显示器就像监视器能让我们看到计算机生成的文本和图像一样,头戴式显示器(HMD)可以让我们看到由增强现实系统生成的图像和文本。没有很多专门为理想中的增强现实系统开发的头戴式显示器。大多数显示器最初都是为虚拟现实而设计的,类似于某种类型的滑雪护目镜。有两种基本类型的头戴式显示器。
光学透视
视频透视式显示器通过使用连接到护目镜外侧的小型视频摄像机来捕获影像,勾画出佩戴者的周围环境。在显示器的内侧,实时播放视频影像,并且将图像添加到视频上。使用视频摄像机的一个问题是在时间上有较长的延迟,即当观看者转动他的头的时候,影像调整会有延迟。
透视式
大多数制作光学透视式显示器的企业已经停业。索尼公司生产过一款供某些研究人员使用的透视式显示器,名字叫Glasstron。佐治亚理工学院增强环境实验室主任Blair MacIntyre相信,Microvision的虚拟视网膜显示器(Virtual Retinal Display)最有希望成为未来的增强现实系统。此设备通过迅速移动的光源在纵横两个方向上扫过视网膜,因此实际上是利用光将影像映射到视网膜上。Microvision显示器的问题是价格大约在10,000美元左右。MacIntyre表示视网膜扫描显示器之所以有望成为未来的增强现实系统,因为其体积有可能变小。他设想通过在一副外形普通的眼镜侧面安装光源,来将影像投射到视网膜上。
跟踪系统
Hiball跟踪系统使用光学感应设备和内嵌LED的天花板跟踪小范围内的移动增强现实开发人员面临的最大挑战是需要知道用户相对于其周围的环境所处的位置。另外还有跟踪用户的眼睛和头部转动的问题。所以跟踪系统必须能识别这些运动,并且映射出与用户在任何特定时刻看到的真实世界相关的图像。限于当前的跟踪技术,视频透视式显示器和光学透视式显示器通常在叠加的内容上都会有延迟。 增强现实
增强现实要发挥其最大潜力,就必须在室外和室内都可以使用。可用于大范围开放区域的最佳跟踪技术是全球定位系统(GPS)。但是GPS接收器的精确度大致为10到30米,一般而言这个精确度还算不错,但是对于需要以毫米或更小单位来度量精确度的增强现实系统来说却不够好。如果映射的图像与您实际看到的事物距离大约10到30米,则增强现实系统就没有什么价值了。
有一些方法可以提高跟踪精确度。例如,军队使用的多重GPS信号。还有差分GPS,这种方法使用在已经过测量的区域。然后,系统会用带有天线的、能非常精确地知道其位置的GPS接收器,来跟踪您在该区域内的位置。这使用户可以确切地知道他们的GPS接收器有多么不准确,从而可以相应地调整增强现实系统。差分GPS可以达到分米级别的精确度。而正在开发中的一种更为精确的实时动态GPS甚至可以达到厘米级别的精确度。
在小空间内进行跟踪比在大空间内要容易。北卡罗来纳大学教堂山分校的研究人员已经开发出了一种非常精确的系统,它可以在大约46平方米的范围内工作。HiBall跟踪系统是由以下两个部分组成的光电跟踪系统:
六个用户佩戴式光学传感器
嵌入在特殊天花板内的红外线发光二极管(LED)
该系统利用已知的LED位置、已知的用户佩戴式光学传感器的几何原理,以及特殊的算法来计算和报告用户的位置和方向。该系统可以解析0.2毫米内的线性移动和0.03度以内的转动。它的更新速率超过1500Hz,延迟保持在大约一毫秒。
计算能力
对于可佩戴增强现实系统,还没有足够的计算能力来创建三维立体图形。因此,研究人员正在使用能够从笔记本电脑和个人电脑所获得的各种图形处理能力。笔记本电脑已经开始配备图形处理器(GPU)。
东芝刚刚在其笔记本电脑内添加了英伟达GPU,它每秒钟能够处理超过1700万个三角形和2.86亿个像素,从而能够支持需占用大量CPU的程序,如3D游戏。但是笔记本电脑仍然落后许多——英伟达已经开发了定制的300-MHz 3-D图形处理器将用于微软即将推出的Xbox游戏机,它每秒钟可以生成1.5亿个多边形,而且这些多边形比三角形复杂得多。由此可以看出移动图形芯片还有多远的路要走,才能产生在家庭视频游戏系统中看到的那么流畅的图像。
MacIntyre表示实用便携式3D系统至少要到2005年才能上市。他的研究实验室使用ThinkPad来驱动移动式增强现实系统。而顶级的ThinkPads则使用16MB的冶天Mobility 128芯片。
实际应用
增强现实这项技术有数百种可能的应用,其中游戏和娱乐是最显而易见的应用领域。可以给人们提供即时信息的不需要人们参与任何研究的任何系统,在相当多的领域对所有人都是有价值的。增强现实系统可以立即识别出人们看到的事物,并且检索和显示与该景象相关的数据。:
维修和建设——增强现实可以将标记器连接到人们正在施工的特定物体上,然后增强现实系统可以在它上面描绘出图像。
军事——军队数十年来一直在设计使用增强现实,美国海军研究所已经资助了一些增强现实研究项目。国防先进技术研究计划署(DARPA)已经投资了HMD项目来开发可以配有便携式信息系统的显示器。其理念在于,增强现实系统可以为军队提供关于周边环境的重要信息,例如显示建筑物另一侧的入口,这有点像X射线视觉。增强现实显示器还能突出显示军队的移动,让士兵可以转移到敌人看不到的地方。
即时信息——旅行者和学生可以使用这些系统了解有关特定历史事件的更多信息。想像行走在美国内战的战场上,并且在头戴式增强现实显示器上看到重现的历史事件。它将使您沉浸在历史事件中,有身临其境之感,而且视角将是全景的。
游戏——增强现实,可以将游戏映射到周围的真实世界中,并可以真正成为其中的一个角色。澳大利亚的一位研究人员创作了一个将流行的视频游戏Quake和增强现实结合起来的原型游戏。他将一个大学校园的模型放进了游戏软件中。
技术导航
城市镜头是国内首款聚合了移动互联最新AR(增强现实)技术的智能手机应用。并致力打造全新的城市导游、导览、导购,景点与游客、商户与用户无缝链接全新的移动互联多资源整合平台。 AR导航
举起爱机,面向要去的方向。整街商铺、公共设施悉数罗列。摄像头实景展现功能,让您看到、听到、闻到,给您身临其境,新奇有趣的导航体验。换个方向,又是完全不同的搜索结果,所谓“城市镜头手机中,前后左右铺不同”。 给用户以新奇实用的导航体验。
应用整合了各城市旅游、餐饮、娱乐、购物、生活、媒体等人们生活中所需的一切信息,并有精准的AR(增强现实)朝向数据导航,为用户轻松定位、准确指引。从而方便、快捷、有效的帮助人们对所需品的选择,提高城市生活质量。
该软件还提供了全面的城市室内导航、景点园区导航等攻略:如城市概况、景点园区导航(游览项目介绍、距离、等待时间等)、商圈室内导航、城市特色及文化推荐等,让用户轻松感受本地精华,做最好最全面的城市导游、导览、导购新平台。
国内现状
增强现实作为新型的人机接口和仿真工具,AR受到的关注日益广泛,并且已经发挥了重要作用,显示出了巨大的潜力。
AR是充分发挥创造力的科学技术,为人类的智能扩展提供了强有力的手段,对生产方式和社会生活产生了巨大的深远的影响。
随着技术的不断发展,其内容也势必将不断增加。而随着输入和输出设备价格的不断下降、视频显示质量的提高以及功能很强大但易于使用的软件的实用化,AR的应用必将日益增长。AR技术在人工智能、CAD、图形仿真、虚拟通讯、遥感、娱乐、模拟训练等许多领域带来了革命性的变化。
总体来讲,增强现实在中国处于起步阶段,许多虚拟现实领域的企业已经开始专注于“增强现实”的研发和应用。比如中视典数字科技研发的VRP12.0就集成了增强现实的功能。
国外发展
增强现实2016年3月,Digi-Capital发布一份报告指出,在2016年1、2月份,虚拟现实(VR)和增强现实(AR)吸引的相关投资总金额达到了11亿美元。该数据给业界留下了深刻的印象,之所以如此,主要是因为这一数据超过了2015年一整年AR/VR吸引的投资总额6.86亿美元,同时这也是AR/VR吸引的投资总额在一年时间内首次突破10亿美元。