1 定义及特征
Definition and characteristics
虚拟现实是以计算机技术为核心,生成与现实环境在视、听、触感等方面高度近似的数字化环境。用户借助相关设备与虚拟环境中的对象进行交互,从而产生真实环境的感受和体验。
VR 具有三个特性,即沉浸性、交互性和构想性。
沉浸性:指即使用者在使用过程产生的身临其境的感觉;
交互性:指使用者可以利用传感设备与虚拟环境的中大部分对象进行交互。
构想性:指使用者不仅可以在虚拟环境中获得真实体验,而且可以充分发挥想象力,根据个人意愿,创造现实世界中某些不存在的物体。
2 发展历史
Development history
最早的 VR 技术可以追溯到 1956 年的 Sensorama。它集成了 3D 显示器、气味发生器、立体声音箱及振动座椅,内置了 6 部短片供人欣赏,然而巨大的体积使它无法成为商用娱乐设施。1961 年,飞歌公司研发了一款头戴式显示器 Headsight。它集成了头部追踪和监视功能,但主要用于查看隐秘信息。1966 年问世的GAFViewMaster 是如今简易 VR 眼镜的原型。它通过内置镜片来达到 3D 视觉效果,但并未搭载任何电子虚拟成像器件或音频设备。1968年问世的 Sword of Damocles (著名的达摩克利斯之剑)通常被认为是虚拟现实设备的真正开端。它由麻省理工学院研发,为后来 VR 甚至是 AR (增强现实)设备的发展,提供了原型与参考。
1984 年,第一款商用 VR 设备 RB2 诞生,配备了体感追踪手套等位置传感器,设计理念已与现代的主流产品相差无几。 1985 年, NASA 研发了一款 LCD 光学头戴显示器,能够在小型化轻量化的前提下提供沉浸式的体验,其设计与结构后来也被广泛推广与采用。在游戏、娱乐领域,一些著名的公司也曾尝试采用虚拟现实技术研发相关产品。 1993 年,游戏厂商世嘉曾计划为游戏机开发一款头戴式虚拟现实设备,却因在内测中反应平淡而夭折。 1995 年,任天堂发布了一款基于 VR技术的游戏机 Virtual Boy,但由于只能显示红黑两色且游戏内容分辨率和刷新率低,在不到一年时间内便宣告失败。 1995年,伊利诺伊大学研发了一款称作“ CAVE”的 VR 系统,通过三壁式投影空间和立体液晶快门眼镜来实现沉浸式体验。真正将商用虚拟现实技术带向复兴的产品是 2009 年问世的 OculusRift, 2013 年推出了一款面向开发者的早期设备,价格仅为300 美元,代表商用 VR 设备真正步入消费电子市场。随着 5G 高速传输、物联网、人工智能、柔性显示、移动式高性能图形计算卡等技术的出现,为 VR 技术进入商用奠定了基础。目前,基于虚拟现实技术的应用和设备已经开始出现在教育、传媒、娱乐、医疗、遗产保护等诸多领域。
3 虚拟现实系统
Virtual reality system
虚拟现实系统主要由5个部分组成: 专业图形处理计算机、输入输出设备、 应用软件系统、数据库、虚拟现实开发平台。虚拟现实系统架构如图1所示。虚拟现实引擎和输入输出设备是系统的硬件保障, 应用软件系统建立输入输出设备到仿真场景的映射, 数据库完成对场景中数据的管理与保存。
3.1 专业图形处理计算机
专业图形处理计算机是虚拟现实系统的关键部分,它从输入设备中读取数据,访问与任务相关的数据库,执行任务要求的实时计算,从而实时更新虚拟世界状态,并把结果反馈给输出显示设备。由于虚拟世界是一个复杂的场景,系统很难预测所有用户的动作,也很难在内存中存储所有状态,因此虚拟世界需要实时绘制和删除,这就大大地增加了计算量,对计算机的配置提出了极高的要求。
3.2 输入输出设备
输入设备:虚拟现实系统要求用户采用自然的方式与计算机进行交互,传统的鼠标和键盘等交互设备无法实现,需要采用特殊的设备。这些特殊设备需要使用专门设计的接口把用户命令输入计算机,同时把模拟过程中的反馈信息提供给用户。基于不同的功能和目的,有很多种虚拟现实接口用于解决多个感觉通道的交互。主要的输入设备有三维跟踪定位设备、人体运动捕捉设备、手部姿态输入设备及其它手控输入设备。
输出设备:输出设备为用户提供输入信息的反馈,即将各种感知信号转变为人所能接收的多通道刺激信号。主要有针对视觉感知的立体显示设备、听觉感知的声音输出设备以及人体表面感知的触觉力觉反馈设备。
3.3 应用软件系统
应用软件系统是实现虚拟现实技术应用的关键, 提供了工具包和场景图, 以降低编程任务的复杂性。虚拟现实系统使用的工具包分为3类:
(1)三维动画类。这类工具包用于构建三维场景以及场景中的对象, 其效果逼 真、 制 作 简 单, 但不能精确控制。主要有3DSAax、Maya、AutoCAD等。
(2)网络场景类。这类工具包在服务器上实现,网络传输信息量少、控制灵活性不足,适用于开发在因特网上的应用。主要有World Toolkit(WTK)、VRML、Java3D等。
(3)直接控制类。这类工具包适用于场景建立时,对涉及的对象进行灵活、精确的控制,其编程要求较高。主要有OpenGL、Direct3D等。用户根据现场要求选取合适的工具包。应用软件系统应用这些工具包和场景图来完成几何建模、运动建模、物理建模、行为建模和声音建模。
3.4 数据库
在虚拟现实系统中,数据库用来存放虚拟世界中所有对象模型的相关信息和系统需要的各种数据,例如地形数据、场景模型、各种建筑模型等。在虚拟世界中,场景需要实时绘制,大量的虚拟对象需要保存、调用和更新,所以需要数据库对对象模型进行分类管理。
3.5 虚拟现实开发平台
虚拟现实开发平台用于三维图形驱动的建立和应用功能的二次开发,同时是连接虚拟现实外设、建立数学模型和应用数据库的基础平台,是整个虚拟现实系统的核心,负责整个虚拟现实场景的开发、运算、生成,连接和协调各子系统的工作和运转。
4 关键技术
key technology
5 国内外发展研究现状
Development and research status at home and abroad
5.1 国际发展现状
目前 VR 技术已经逐渐走向成熟,并且向着视觉、听觉、触觉多感官沉浸式体验的方向发展。同时,相应硬件设备也在朝着微型化、移动化发展。美国纽约州立大学石溪分校联合 Nvidia 和 Adobe 公司已经开发出一种系统,可以利用人眼的扫视抑制现象和眼球追踪技术,为用户提供在大型虚拟场景中自然行走体验。据报道,一家名为 MojoVision的初创企业宣布有望将其 VR设备缩到隐形眼镜大小,并在 2020 年推出相关商用产品。在 GDC2018, Oculus 推出的 Oculus Go 为头戴式 VR 设备提供了立体声效果,其扬声器位于头显内侧,用户无须佩戴耳塞就能以接近自然德方式体验到虚拟场景中的声音。它所使用的定向扬声器设计,使该设备的声音不会影响周围。洛桑联邦理工学院(EPFL)和苏黎世联邦理工学院(ETH)组成的科研团队开发了名为“ DextrES”的轻量级触觉反馈手套。该设备总重仅 40 g厚度仅 2 mm,而附着在用户手指上的传感器和反馈装置总重更是低至 8 g,能够为 VR 用户提供更接近自然的触觉反馈。
5.2 国内发展现状
VR 产业发展近几年也处于上升趋势。根据IDC2019 年公布的《中国 VR/AR 市场季度跟踪报告》,2019 年第一季度我国 VR 头显设备出货量接近 27.5 万台,同比增长 15.1%,其中头显设备出货量同比增长 17.6%。在“ 2018 国际虚拟现实创新大会”上,专家学者们探讨了 VR 产业的发展现状和未来动向。会上公布的《中国虚拟现实应用状况白皮书(2018)》对我国 VR 应用状况展开了全面的探讨和分析,涉及相关企业、单位数量 500 余家,为我国 VR产业从萌芽向商业化、规模化转变标明了方向。《白皮书》中还提到,我国目前 VR 产业的重点企业主要分布位置在北京、上海、广州 3 个城市,同时在青岛、成都、福州等 12 个热点地区也有分布,主要涉及内容开发、终端设备、网络平台等细分行业。5G 技术带来的高带宽和低时延等优势,将为 VR、 AR及相关音视频业务的发展提供关键支撑,云 VR、 VR 实时直播开始兴起。 2018 年西班牙 MWC 上,华为 VR Open Lab 联合“视博云”发布了 Cloud VR,其依靠 5G 和云技术将 VR运行能力由终端向云端进行转移,以此推动 VR 和 AR 应用在智能手机端。 2019 年 1 月,中国电信在深圳完成了首次央视春晚特别节目的 5G 网络 VR 现场直播,这是央视第一次通过 5G 网络进行 VR 超高清春晚节目直播。