二、VR硬件交互设备
VR虚拟现实硬件指的是与虚拟现实技术领域相关的硬件产品,是虚拟现实解决方案中使用的硬件设备。要实现虚拟现实的交互性,沉浸感等特点,需要许多外部设备的配合。
目前VR系统的硬件交互设备主要分为立体显示设备、三维跟踪传感设备、人机交互设备以及系统集成设备等几大类。
1.VR的立体显示设备
对虚拟世界的沉浸感主要依赖于人类的视觉感知,因而三维立体视觉是虚拟现实技术的第一传感通道。虽然桌面式VR系统中可以使用普通的计算机屏幕作为显示设备,但它却不能提供大视野、双眼的立体视觉效果。因此,我们需要一些专门的立体显示设备来增强用户在虚拟环境中视觉沉浸感的逼真程度。现阶段常用的显示设备主要有立体眼镜、头盔式显示器、双目全方位显示器、大屏幕投影等。
(1)头盔式显示器
头盔式显示器(HMD)用于显示虚拟现实的场景图像。它通常由两个LCD或CRT显示器分别向左右眼提供图像,这两个图像由计算机分别驱动,两个图像间存在着微小的差别,类似于“双眼视差”。通过大脑将两个图像融合以获得深度感知,得到立体的图像。HMD可以将参与者与外界完全隔离或部分隔离,因而在军事训练、虚拟驾驶、虚拟城市等项目中具有广泛的应用。
(2)双目全方位显示器
双目全方位显示器(BOOM)是一种可移动式显示器。它由两个互相垂直的机械臂支撑,这不仅让使用者可以在半径约2米的球面空间内自由移动,还能将显示器的重量巧妙地平衡使之始终保持水平,不受平台的运动影响。在支撑臂上的每个节点处都有位置跟踪器,因此BOOM和头盔显示器一样有实时的观测和交互能力。
(3)CRT终端——液晶光闸眼镜
CRT终端——液晶光闸眼镜立体视觉系统的工作原理是:有计算机分别产生左右眼的两幅图像,经过合成处理之后,采用分时交替的方式显示在CRT终端上。用户则佩戴一副与计算机相连的液晶光闸眼镜,眼镜片在驱动信号的作用下,将以与图像显示同步的速率交替开和闭,即当计算机显示左眼图像时,右眼透镜将被屏蔽,显示右眼图像时,左眼透镜被屏蔽。根据双目视察与深度距离正比的关系,人的视觉生理系统可以自动地将这两幅视察图像合成一个立体图像。
(4)大屏幕投影——液晶光闸眼镜
大屏幕投影——液晶光闸眼镜立体视觉系统原理和CRT显示一样,只是将分时图像CRT显示改为大屏幕显示,用于投影的CRT或者数字投影机要求拥有极高的亮度和分辨率,它适合在较大的空间内产生投影图像的应用需求。
洞穴式VR系统是一种基于投影的环绕屏幕的洞穴自动化虚拟环境(Cave Automatic Virtual Environment, CAVE)。人置身于由计算机生成的世界中,并能在其中来回走动,从不同的角度观察它、触摸它、改变它的形状。大屏幕投影系统除了有CAVE之外还有圆柱形的投影屏幕和由矩形拼接构成的投影屏幕等。该系统适合用于例如博物馆、艺术馆、娱乐中心、研究中心等地方,其系统设计复杂且价格高。
(5)3D显示器
3D显示器不需要用户戴上专门的眼镜也能观察到立体的图像。这项技术不同于普通显示器中的发射与反射类型,它把光源从显示器的下面向上发射,通过显示器内部的发射与折射,使用户能看到立体的图像。这项技术的一个显著优点在于对显示器周围的环境没有任何严格的要求。这种显示器目前面临的主要问题是制作成本太高,因而尚未商品化,它属于新发明,在未来有希望成为三维可视化的一种理想显示工具。
(6)VR智能眼镜
智能眼镜配合自然交互界面,相当于现在手持终端的图像接口,不需要点击,只需要使用人的本能行为,例如,摇头晃脑、讲话、转眼等,就可以和智能眼镜进行交互。因此,这种方式提高了用户体验,用户操作起来更加自然随心。
2.VR三维跟踪传感设备
虚拟现实技术是在三维空间中与人交互的技术,为了能及时、准确地获取人的动作信息,需要有各类高精度、高可靠的跟踪、定位设备。而这种实时跟踪以及交互装置主要依赖于传感器技术,它是VR系统中实现人机之间沟通的极其重要的通信手段,是实时处理的关键技术。
(1)电磁波跟踪器
这是一种最为常用的跟踪器,它使用一个信号发生器(3个正交线圈组)产生低频电磁场,然后由放置于接收器中的另外三组正交线圈组负责接收,通过获得的感生电流和磁场场强的9个数据来计算被跟踪物体的位置和方向。电磁波跟踪器体积小、价格便宜、用户运动自由,而且敏感性不依赖于跟踪方位,但是其系统延迟较长,跟踪范围小,且准确度容易受环境中大的金属物体或其他磁场的影响。
(2)超声波跟踪器
超声波跟踪器的工作原理是发射器发出高频超声波脉冲(频率20kHz以上)后,由接收器计算收到信号的时间差、相位差或声压差等,进而跟踪物体的距离和方位。超声波跟踪器的性能适中,成本低廉,而且不会受外部磁场和大块金属物质的干扰。但是,它的敏感性却容易受接收器的方位和空气密度的影响。
(3)光学跟踪器
光学跟踪也是一种较为常见的跟踪技术。这种跟踪器可以使用自然光、激光或红外线等作为光源,但为避免干扰用户的观察视线,目前多采用红外线方式。与电磁波和超声波这两种跟踪器相比,光学系统的可工作范围小,但其数据处理速度、响应性都非常好,因而较适用于头部活动范围相当受限、但要求具有较高刷新率和精确率的实时应用。
(4)其他空间跟踪系统
这些系统主要有机械跟踪器、惯性跟踪器、图像提取跟踪器,这里不再多叙。
3.VR交互设备
VR技术的一项重大突破就是用手来代替键盘、鼠标,作为人与计算机交互的一种重要手段。借助各种专用的设备代替键盘、鼠标,操作者不但可以获得大范围的基于手势的交互操作,同时可以通过身体的各个部位的运动来感知,增加了人在虚拟空间中的自由度和灵活性。
(1)数据手套
数据手套是虚拟仿真中最常用的交互传感设备。它是一种戴在用户手上的虚拟手,用于与VR系统进行交互,可在虚拟世界中进行物体抓取、移动、装配、操纵、控制,并把手指伸屈时的各种姿势转换成数字信号送给计算机,计算机通过应用程序来识别出用户的手在虚拟世界中操作时的姿势,执行相应的操作。数据手套本身不提供与空间位置相关的信息,必须与位置跟踪设备连用。目前典型的数据手套有以下几种:VPL数据手套、赛伯手套(Cyber Glove)、DHM手套等。
(2)数据衣
在VR系统中比较常用的运动捕捉系统是数据衣。数据衣是为了让VR系统识别全身运动而设计的输入装置。它是根据“数据手套”的原理研制出来的,这种衣服装备着许多触觉传感器,穿在身上,衣服里面的传感器能够根据身体的动作探测和跟踪人体的所有动作。数据衣能对人体大约50个不同的关节进行测量,包括膝盖、手臂、躯干和脚。通过光电转换,身体的运动信息被VR系统识别。数据衣主要应用在一些复杂环境中,对物体进行跟踪和对人体运动进行跟踪与捕捉。
(3)三维空间鼠标
三维空间鼠标(3D Mouse)可以完成虚拟空间中6自由度的操作,其工作原理是在鼠标内部安装超声波或电磁发射器,利用配套的接收设备检测鼠标在空间中的位置与方向。三维空间鼠标与其他设备相比成本较低,常应用于建筑设计等领域。
(4)力矩球
力矩球(Space Ball)的中心是固定的,并装有6个发光二极管,球有一个活动的外层,也装有6个相应的光接收器。力矩球通常安装在固定平台上,可以用手作扭转、挤压、压下、拉出、来回摇摆等操作,它采用发光二极管和光接收器来测量力,通过安装在球中心的几个张力器来测量出手施加的力,并将数据转化为3个平移运动和3个旋转运动的值送入计算机中。力矩球在选取对象时不是很直观,一般与数据手套、立体眼镜配合使用。
(5)触觉反馈设备
触觉反馈主要是基于视觉、气压感、振动触感、电子触感和神经肌肉模拟等方法来实现的。目前常用的触觉反馈是气压式和振动触感。气压式是一种采用小空气袋作为传感装置的方法,振动触感是用声音线圈作为振动换能装置的方法。VR系统通过触觉反馈装置让用户实现虚拟手物碰触时的触觉感受,还能产生对虚拟物体的光滑度、粗糙度的感知。
(6)力反馈设备
力觉和触觉实际是两种不同的感知,触觉包括的感知内容更加丰富,如接触感、质感、纹理感以及温度感等;力觉感知设备要求能反馈力的大小和方向,与触觉反馈装置相比,力反馈装置相对成熟一些。目前已创造的力反馈装置有力反馈手套、力反馈臂、力反馈操纵杆、桌面式多自由度游戏棒等。VR系统通过力反馈设备对用户的手、腕、臂等运动产生阻力从而使用户感受到作用力的方向和大小。
(7)其他交互设备
主要有神经肌肉交互设备、意念控制设备等。
4.VR输入及建模设备
(1)三维模型数字化仪
三维模型数字化仪又称三维扫描仪或三维扫描数字化仪,是一种先进的三维模型建立设备,利用CCD成像、激光扫描等手段实现物体模型的取样,同时通过配套的矢量化软件对三维模型数据进行数字化。三维模型数字化仪的工作原理是:由三维模型数字化仪向被扫描的物体发射激光,通过摄像机从每个角度扫描并记录下物体各个面的轮廓信息,安装在其上的空间位置跟踪定位设备也同步记录下三维模型数字化仪的位置及方向的变换信息,将这些数据送入计算机中,再采用相应的软件进行处理,得到与物体对应的三维模型。
(2)3D扫描仪
3D扫描仪,也称三维立体扫描仪,是融合光、机、电和计算机技术于一体的高新科技产品,主要用于获取物体外表面的三维坐标及物体的三维数字化模型。3D扫描仪分为接触式和非接触式两类。通过三维扫描仪非接触扫描实物模型,得到实物表面精确的三维点云(Point Cloud)数据,最终生成实物的数字模型,不仅速度快,而且精度高,几乎可以完美地复制现实世界中的任何物体,以数字化的形式逼真地重现现实世界。
(3)3D摄像机
3D摄像机,利用的是3D镜头制造的摄像机,通常具有两个以上摄像镜头,间距与人眼间距相近,能够拍摄出类似人眼所见的针对同一场景的不同图像。全息3D具有圆盘5镜头以上,通过圆点光栅成像或菱形光栅全息成像全方位观看同一图像,使人如同亲临其境。
(4)VR全景相机
全景相机拥有多个超广角镜头,每个镜头对应独立的CMOS感光元件、独立的像素点以及机内处理元件,通过精确的调校,整合到一起进行集中的图像及视频输出。通过整合的机内存储器进行图像处理,输出到全景处理服务器中来做接片缝合,可形成星球状全景以及中心轴状全景。VR设备使用的全景实景影像部分就是通过全景拍摄,进行一系列的处理,转换成VR设备可直接观看的影像,给用户带来身临其境的感受。
VR工厂在2016年6月29日发布的微爱拍全景相机是一款VR普及型全景相机,它采用高清摄像技术,360°全景捕捉、360°×360°全景拍摄,通过独有的影像增强技术(Image Enhancement, IE),提高视频品质。可用于微电影、微视频、现场节目录制,户外运动、旅游、聚会等全景拍摄。
5.声音设备
(1)三维立体声
三维声音不是立体声,而是由计算机生成的、能由人工设定声源在空间中的三维位置的一种合成声音。这种声音技术不仅考虑人的头部、躯干对声音反射所产生的影响,还会对人的头部进行实时跟踪,使虚拟声音能随着人的头部运动相应变化,从而能够得到逼真的三维听觉效果。
(2)语音识别
VR的语音识别系统让计算机具备人类的听觉功能,使人-机可以用语言这种人类最自然的方式进行信息交换。VR系统中的语音识别装置主要用于合并其他参与者的感觉道(听觉道、视觉道)。在有大量数据输入时,语音识别系统可以进行处理和调节,像人类在工作负担很重时将暂时关闭听觉道一样。不过在这种情况下,将影响语音识别技术的正常使用。
6.VR硬件的系统集成
虚拟现实系统中通常包括大量需要处理的来自各种设备的感知信息、模型和数据,因此,建立一个以计算机为核心,将多种I/O交互设备协调组合在一起的硬件平台,是VR系统集成的关键技术。作为虚拟现实系统的核心,计算机系统必须具有足够强大的功能才能完成实时处理、数据输入/输出、虚拟世界的管理和生成等。它一方面要保障虚拟三维场景的实时计算和显示,尽量减少延迟,另一方面还要协调各种I/O交互设备之间的工作,以确保系统整体运行的性能。