第1章 虚拟现实所谓何物

本章引言

虚拟现实时代的来临已经势不可挡，在未来高度虚拟化的社会中，每一个人的生活将会与现在有巨大的区别。深刻理解虚拟现实技术为人类带来的变革将帮助每一个人抓住未来发展的脉搏。

作为本书的第1章，我们将首先讨论与虚拟现实有关的一些基本话题，通过讨论虚拟现实技术的本源来进一步探索它未来的发展趋势。

本章要讨论的第一个问题是：“为什么要虚拟一个现实出来。”讨论这个问题的目的是寻找所有虚拟现实应用的基本需求，或者说本源需求。之后，我们从虚拟现实的内涵和外延入手，逐步引出虚拟现实的概念。鉴于虚拟现实的技术概念如此具有包容性，所以在本章中非常有必要明确本书所讨论的范畴，因此需要对一些相近的且易混淆的技术领域进行区分。

本章最后会用一个小节的篇幅简单回顾虚拟现实历史上重要概念的产生过程。

为什么要虚拟一个现实

对虚拟现实技术的一个最简单的理解就是：“将真实世界进行虚拟化，从而得到一个与真实空间相似的虚拟空间。”但是，人们为什么要花费巨大精力来构建这样一个虚拟空间呢？这要从人类的本源需求说起。

从根上说，人类的需求大多是与生俱来的。道明会神父圣多玛斯·阿奎纳（St.Thomas Aquinas）列举了人类的七重罪：贪食、色欲、贪婪、伤悲、暴怒、懒惰、自负或傲慢。这七种重罪无一不是来源于人类的本源需求。例如，“贪食”可以被看作人类对“食物”的需求表现，“色欲”是人类对“性本能”的需求表现，“贪婪”是人类对“占有”和“安全感”的需求表现，暴怒是人类对“控制”的需求表现，懒惰是人类对“自由”的需求表现，自负是人类对“自我认同”的需求表现，傲慢是人类对“社会认同”的需求表现。

对此，马斯洛（Maslow）提出了人类的需求层次理论，将人类的需求分成了由低到高的五个不同层级，如图1-1所示。这些需求都可以看作人类的本源需求。从有人类历史开始这些需求就存在，而经历了数千年的发展，直到今天，这些需求仍然在支配人类的各种行为。随着时代的发展，新的技术不断出现，也带来了很多“新的需求”，但是新的技术并不会创造出新的本源需求，这些“新的需求”实际上只是一种变化了的本源需求表现形式。对于虚拟现实来说，这种情况也同样适用。

虚拟现实技术的魅力在于，它几乎可以在每一个层次为人类提供需求和满足。也正是因为这个原因，虚拟现实技术在不远的未来会为大多数的传统产业带来变革，它可以被应用于军事、医疗、教学、娱乐、旅游等行业。你几乎可以和任何一个行业的人探讨虚拟现实在他们所在行业的应用，这种讨论往往令人兴奋，以至于这些讨论最终往往演变为如何将虚拟现实强加到这些行业中，而不是讨论这些行业是否真的需要虚拟现实的介入。所以，在讨论虚拟现实的开始部分，明确哪些构造虚拟空间的需求来源于人类的本源需求，将会帮助我们辨别那些随着这种讨论而产生的伪概念和伪需求，并最终更准确地找到虚拟现实的真正价值。

实际上，确实有很多非常基础的需求驱使人们通过将真实的世界虚拟化来构建一个虚拟的空间。我们将这些需求分为理性需求和人性需求两部分，其中，理性需求是那些符合逻辑、符合基本趋利避害心理的人类需求；而人性需求是那些来源于人性本身、为了追求某一单一目的可以不顾成本和其他损害的需求。

理性需求：低成本性

人们会使用虚拟现实的首要原因是：构建一个虚拟情景往往比构建一个对应的真实情景成本更低。降低成本会导致人们更容易占有某些东西，这也是占有欲的一种表现。低成本的含义包含了两方面内容：费用成本低及时间成本低。

“低成本需求”在虚拟现实应用中最为普遍，其中一个典型的例子是虚拟现实在博物馆中的应用。在不使用虚拟手段的情况下，博物展览需要将实物展品进行展出，这涉及展品的保存、运输、布展等一系列烦琐而专业的工作，需要花费大量的费用与时间。但是，通过虚拟现实技术，使用者只需安坐在家中，就几乎能够参观世界上所有的博物馆。这不但大大降低了文化传播过程中的成本，也降低了使用者获取知识所需要的成本。

2016年，Google公司为其名为“Arts & Culture”的在线博物馆项目提供了基于Google Cardboard的虚拟现实应用，如图1-2所示。

通过这个虚拟现实应用，用户只需使用自己的智能手机，就可以用虚拟现实的方式，身临其境地游览上千个真实世界中的博物馆，观看博物馆中的艺术作品、历史文献和世界奇观。通过这个应用，用户可以查看印象派画家莫奈的作品，仿若置身于真实的艺术画作之前；可以漫步在罗马艺术场景的街头，或是观看宙斯的古希腊神庙，就像回到了2500年以前。这个应用大幅降低了人们欣赏艺术作品、感受文化熏陶的成本，满足了人们对“自由”和“占有”的需求，成为了当年最受关注的一项虚拟现实应用。

为了降低成本，另一类典型的使用虚拟现实技术的应用情景发生在规划和决策领域。由于规划和决策涉及多个技术工种、部门的协同工作，其过程往往是耗时巨大的。通过虚拟现实技术，规划师和建筑师可以在项目的早期，而不是在竣工之后，构建出一套完整的可以漫游体验的沉浸式系统。例如，中国人民大学的王克平与北京理工大学的宋震等人在中国人民大学新校区建设方案决策过程中，基于CryEngine引擎构建了虚拟规划决策辅助系统，如图1-3所示。在这个系统中，决策者能够在一个虚拟的三维环境中，用动态交互的方法对未来新校区的规划方案进行感同身受的全方位审视，从任意视点观察场景，并自由切换多种运动形式。这种直观的审视能够帮助总体决策者对预设设计方案进行更直接和感性的评估。由于这些决策者往往并不具备建筑和规划的专业知识，他们的判断更多来源于感性认识的积累，因此此类虚拟现实系统的呈现效果，往往决定着设计方案能否通过，同时也可大大减少设计方案重复迭代的次数，缩短项目的设计周期。

综上所述，虚拟现实技术能够将“已经存在”和“尚未存在”的真实情景构建在虚拟环境中并进行传输、保存和展示，从而大幅减少构建场景所需的费用成本和时间成本。因此，在对“呈现”成本较为重视的应用场景中，“虚拟化”被视为一种“刚性需求”，而不仅是锦上添花的展示手段。

理性需求：可控性

第二个让人们无法拒绝虚拟现实的理性需求是可控性。在很多应用情景中，人们对成本并不敏感，例如军事训练、飞行员训练、医疗等。这种应用情景可以接受高昂的费用，也可以容忍系统使用上的一些不便，但是对整个系统的可控性却有极为严格的要求。

以单兵轻武器操作训练应用为例。在传统方法中，为了获得更高的真实度，往往需要使用实弹进行演练，这种训练在不可控的条件下是非常危险的，稍有不慎就会造成参训人员的伤亡。相对的，在虚拟现实训练系统里，人们很容易构建出一个逼真且安全可控的环境，从而大幅度减少训练人员的伤亡。

如图1-4所示，是美国陆军开发的一套虚拟步兵训练系统：DSTS（Dismounted Soldier Training System），该系统基于CryEngine引擎开发，总项目耗资约为5700万美元，能够创造具有极高真实感和高沉浸体验的虚拟战场环境。通过可穿戴计算机系统、用户姿态传感器、仿真武器及触觉反馈设备等装置，该系统可以同时支持多名士兵在多样的地形和气候环境下进行步兵军事训练。系统可以设定各种训练科目，通过让士兵在虚拟战场中完成特定任务来提升士兵射击、驾驶、团队配合等军事技能。由于所有的战斗发生在虚拟环境中，无论是气候还是敌人的行动都受控于计算机系统，大幅降低了士兵在军事训练中受到死亡威胁或其他伤害的可能。

另一个典型的降低训练风险的案例是美国航空航天学会的Jeffrey R.Hogue等人于1997年开发的跳伞训练模拟器系统[1]。这套跳伞模拟系统可以在军事上用于伞兵跳伞的教学与训练，从而大幅降低伞兵训练的危险性。该系统采用4个背带结构构建了悬浮降落伞装置，用户乘坐于其上观看头戴式显示器中的模拟画面，可以产生较强的沉浸感，并且能通过对地面的视觉感知，提供更好的降落提示。系统的优势在于增加了跳伞过程中学员与训练员的对话功能，能在关键时刻对学员的动作技能做出纠正；且和其他类似系统相比，该系统在经济性方面有很大的提升。针对该系统的测试实验发现，训练模拟器的沉浸感越强，将抽象过程的训练转化为实际跳伞技能的效果就越明显。图1-5所示是以该系统为基础迭代的新一代伞兵训练模拟系统。

除了降低风险，虚拟现实系统的可控性还可以允许教官更轻松地实现重复性的演练。例如，一个训练想定是让敌方三辆坦克沿着某一条路径向前行驶，并在固定位置射击我方目标。训练的内容是让参训人员针对这一情况进行处置。如果使用真实演习的方式，很难保证坦克每次的行驶位置和路径都一样，难以保证训练的质量；而在虚拟现实中，敌方坦克由计算机生成兵力来控制，可以严格地完成训练想定的需求，甚至根据参与训练人员的反应做出不同的预设动作，可以很好地配合训练的需求。

再例如，在虚拟现实飞行模拟器应用中，除了日常的常规飞行训练，还需要对飞行中遇到的一些特情进行应急处理训练，如发动机熄火、紧急迫降等。此类训练想定中包括了大雾、气流和雷电等的模拟。在真实情况下，训练系统往往难以控制这些自然环境；而在虚拟现实中，训练系统则可以准确地控制气流扰动、大雾能见度等参数，从而实现飞行员针对某一特情的反复训练。

这种对整个系统的可重复性和可控性在医学训练领域同样重要。图1-6所示是北京航空航天大学开发的虚拟现实手术训练系统。该系统以CT重建的人体软组织模型为基础，通过连接力反馈设备的仿真手术器械，让医生实现具有真实操作手感的虚拟手术训练。通过普通的显示屏，医生可以观察到虚拟操作器械在人体软组织中的动作，从而指导其下一步操作。这样的系统可以对特定病症的病灶特征进行建模，实现对该病症的虚拟复现，医生通过对虚拟复现的病灶进行反复的操作练习提升手术水平。这种重复性的反复训练在真实世界中难以实现，因此该设备也成为了相关医生训练的必备设备。

理性需求：不可实现性

第三点让人们不得不使用虚拟现实的原因是不可实现性。有些应用情景中使用的场景在现实世界中是无法搭建的，在这些应用中，人们只能选择虚拟现实技术。例如，在太空知识的体验式教学中，人们希望让学生游历太阳系，近距离观看太阳黑子及日珥现象。在地球上搭建一个真实的太空场景是无法实现的任务，人们只能借助虚拟技术来实现。在此方面，硅谷的一家创业公司SpaceVR提出了一个大胆的构想，他们希望打造一个提供太空体验的虚拟现实平台，如图1-7所示。让人们即使不飞向太空也能够体会到与宇航员相似的感受。SpaceVR计划将全景摄像机送入太空来拍摄360°全景图像和视频，并将这些内容传输回地球。基于这些全景数据，在地面上的人们无须构造复杂的系统就可以身临其境地探索宇宙，并学习相关的太空知识。

另外，对于一些与微观世界有关的应用，虚拟现实技术也是唯一的选择。如让学员化身纳米机器人进行微创手术操作，自己双手的受力感受和操作机器人的情景都不可能通过实物场景来实现。

在这方面，Nanotronics Imaging公司曾在2015年公布了一项名为nVisible的虚拟现实项目。该项目允许佩戴虚拟现实头戴显示器的用户在纳米尺度的微观世界中进行虚拟漫游，使他们对纳米材料有更直观、感性的认识，如图1-8所示。更重要的是，nVisible 技术利用超高层次的细节可视化能力，还可以帮助科学家和工程师从纳米尺度探索材料的表面特性，允许研究人员和纳米机器人、碳纳米管等超微小目标进行交互。

除极大极小的场景之外，还有一些纯粹抽象的场景，其本身不存在于真实世界之中，更加无法通过真实搭建的方式呈现。其中比较典型的是基于虚拟现实的数据可视化应用。

所谓数据可视化，就是研究复杂数据的视觉表现形式的科学，它将数据中的某些特性提取出来，并以二维或三维的图形进行表示。数据可视化的应用中通常会采用三维形式进行数据的呈现。图1-9所示是一款名为Wave Analytics VR的虚拟现实数据可视化工具。这款数据可视化工具采用沉浸式的方式，将数据以三维图标的形式呈现在使用者面前，并允许使用者通过双手与数据进行自然的交互，或是通过注视某个位置获得更详细的信息。

另一个不可实现性的例子出现在文物保护领域。由于文物的不可再生性，一些文物无法进行搬运和移动，因此公众无法一睹这些艺术瑰宝的真容。但是，采用数字重建结合虚拟现实呈现的方式，可以使这些文物发挥更大的价值。2013年，香港城市大学和中国敦煌研究院联合打造了数字莫高窟项目——“净土”。该项目通过虚拟现实技术将敦煌220号石窟北壁上的“东方净土”壁画呈现给了观众。出于文物保护的考虑，敦煌原址的220号洞窟已经不再对公众开放。为了让敦煌艺术瑰宝再次展现在公众视野中，该项目利用激光扫描结合实景拍摄的7000余张高清照片，以三维重建技术为基础，在虚拟环境中拼接成高清连续的长轴画卷，以1∶1的比例，采用360°环形投影方式对“东方净土”壁画进行了重现，如图1-10所示。

人性需求：生理需求

生理需求是人类最根本的一种需求，其具体内容包括人类对“呼吸”“水”“食物”“睡眠”“生理平衡”“分泌”“性”的需求。马斯洛理论认为，如果这些需求（除性以外）中任何一项得不到满足，人类个人的生理机能就无法正常运转，生理需求也是推动人们进行各种行动的首要动力。

这些生理需求大多数与某种外部环境的刺激有关，是人类作为动物对自然环境的反应，且能够对人体自身内部机能进行调整。所以如果能够通过计算机技术模拟这些外部刺激，就可以在很大程度上取代自然刺激物起到促进身体内部循环或调节的作用。

以目前的技术看，在“呼吸”“水”“食物”“睡眠”“生理平衡”“分泌”等本源需求方面，虚拟现实技术能够起到辅助提升的作用，但不能直接提供满足需求的外部刺激。相对的，在“性”需求方面，虚拟现实技术已经可以较完美地实现所需外部刺激的产生。这主要是因为“性”需求的外界刺激主要是基于视觉、听觉和触觉的，而这刚好是虚拟现实技术较成熟的部分。

在视觉上，由于基于计算机视觉的三维重建技术的快速发展，目前高逼真度的虚拟人体建模技术已经较为成熟。2014年，日本Illusion公司推出了一款基于真人三维重建的虚拟现实成人游戏PlayGirls。在这款游戏中，开发者对女演员进行全身三维扫描，生成极为逼真的虚拟角色。这款游戏可以让用户通过Oculus Rift在虚拟环境中实现与虚拟角色的亲密接触。由于采用了新一代的引擎技术，PlayGirls的虚拟人物与真实女演员极为相似，图1-11所示是女演员纱仓真奈的虚拟角色。

在触觉方面，Illusion公司在2016年联合情趣用品生产厂商Tenga推出了一款面向成人应用的全身式反馈设备。如图1-12（a）所示，该设备由一个安装在使用者身体前方且与力反馈设备相连接的虚拟胸部和一个可独立工作的针对用户特殊部位的Tenga 飞机杯构成。使用者佩戴头戴式显示器后，可以与虚拟环境中的虚拟角色进行亲密接触，并通过力反馈设备真实地触摸虚拟角色。同样在2016年，全球最大的成人网站Pornhub推出了一款名为Twerking Butt的成人设备，如图1-12（b）所示。该设备以硅胶为材料，模拟了女性臀部的外形，并通过内置的电动机，模拟女性摇摆臀部时的震动。该设备可与头戴式显示器配合使用，从而实现在虚拟现实环境中具有真实触感的成人体验。

生理需求是所有本源需求中最具能动性的一种，以至于成人应用已经成为全球范围内虚拟现实技术发展的一种重要推动力。根据来自Google Trends的数据显示，从2014年11月到2016年4月，人们在Google搜索“VR porn”关键词的数量增长了9900%。此外，根据全球最大的成人网站 Pornhub 的数据显示，截至2016年年底，Pornhub的虚拟现实类内容数量增加了超过300%,9个月内关于虚拟现实成人的搜索量达到3800万次。

人性需求：安全需求（占有需求）

第二个也是极为重要的一种人性需求是安全需求，即占有需求。占有需求包含了对资源和财产的占有。实际上，占有更多的资产会让人们感到更加安全。

从宗教角度出发，过度的欲望被认为是一种罪，但人类的发展就是一种欲望驱动的发展。没有性欲，就不会有孩子，人类就会灭绝；没有食欲，人们就不会努力地寻找食物，就有可能导致种群的灭亡。占有欲推动人们生产出了更多、更好的产品，推动了技术与经济的发展。所以，欲望本身是好的，是人类正常的动物本能，但是欲望是一种难以被满足的东西，人类永远有占有更多、更好事物的欲望。在虚拟现实中，数字商品和资源都可以被简单地复制，这种特性使其能够帮助人们满足无穷无尽的欲望。

值得一提的是，在虚拟现实技术之前，互联网技术也在很大程度上满足了人们对虚拟资源的占有欲望。在互联网时代，人们同样会为在线的虚拟房间购买家具、电器和装饰品，并向其他朋友炫耀。不同的是，互联网本身并不生产实体商品，它解决的是资源的调配问题，它所创造的虚拟商品与真实商品的物理属性相差很大，无法达成商品的真实功能。在“虚拟现实”中，我们可以创造出一系列带有物理体验属性的虚拟制品。例如，虚拟现实系统可以创造出虚拟的“阳光”,“阳光”是物理上可感受的，用户除了能看到阳光，还可以通过特殊装置感受到“阳光”照射在皮肤表面上时产生的热量。

同时，由于这些虚拟现实制品可以轻易地复制，人们只需要非常低廉的代价就可以拥有它们。这使得虚拟现实技术能够满足人们对超出自身持有能力事物的占有欲。

人性需求：社交需求（情感的需求）

在人类需求层次上，情感的需求高于生理需求和安全需求，它是人们在社会交往中“希望得到相互关心和照顾”的一种需求。因为每个人的经历、特性各不相同，其对情感的需求也不相同。由于人们无法任意控制周围的世界，因此他们获得的情感满足是相当随机的。

虚拟现实能够创造出一个绝对可控的“虚拟世界”，在这个虚拟世界中，使用者是世界的中心，“虚拟世界”中所有虚拟角色的存在都因为使用者的存在而产生意义。换句话说，“虚拟世界”中所有的虚拟人物都会尽量照顾使用者，并与之建立稳定可靠的关系。此时，虚拟角色就不仅仅是虚拟环境中用于人机交互的一种界面元素，而是真正可交流的具有“人格”的对象，我们可以称呼其为“虚拟伴侣”。

2016年，Tekken Team团队开发了一款名为“夏日课堂”的模拟类游戏，如图1-13所示，这个游戏被看作在虚拟现实家用领域中虚拟伴侣应用的开端。在这个游戏中，使用者扮演一位中学家庭教师，以7天的时间为限，为一位名为“宫本光”的虚拟女孩补习功课。该游戏的主要内容在于使用者与宫本光的交流与互动。在游戏中，宫本光的虚拟人物形象构建得极为细致，而且其视线会随着玩家的动作而发生改变。交互的真实感、细致的情节设计，让使用者逐渐融入家庭教师角色中，甚至逐渐感觉到虚拟女孩宫本光的生命力。

虚拟现实中的虚拟伴侣将会拥有完美的容貌、性格，以及身份。完美的容貌并不是简单指虚拟伴侣比较英俊或柔美，而是说“它”具有符合使用者审美的容貌。例如，对于一位老人来说，虚拟伴侣最完美的容貌可能是其已去世老伴年轻时的样子。虚拟伴侣并不是唯一的，根据使用者的需要，甚至可以创建出一个虚拟的家庭，包含父母、兄妹，以及恋人等。每一个虚拟伴侣都具有自己独立的容貌、性格和身份。同时，最重要的是“它们”都有足够的时间陪伴使用者。这种永不下线的陪伴将是人类无法拒绝、对抗孤独的终极武器（或是毁灭社交的终极武器）。

人性需求：尊重需求

根据马斯洛的理论，尊重需求被分为内部尊重和外部尊重两种。其中：“内部尊重是指一个人希望在各种不同情境中有实力、能胜任、充满信心、能独立自主”,“外部尊重是指一个人希望有地位、有威信，受到别人的尊重、信赖和高度评价”，得到尊重满足的人会拥有更多的自信，也会更愿意融入社会。

社会无可避免地会出现阶层的划分，每一个人能够得到的尊重满足都与其在社会中的地位与等级密切相关。实际情况是，人们往往希望获得比其实际社会身份更多的尊重，这在真实世界中是难以实现的。

正如在情感需求部分讨论的那样，虚拟现实为人们开辟了另一个生存空间，通过与虚拟伴侣的交互，人们可以获得更多的尊重满足。不仅如此，在“虚拟世界”中，即使是人与人的交往也有可能给使用者带来更多的尊重。

2016年，火箭专家Eric Romo创办了Altspace——第一个真正意义上的虚拟现实社交系统。之所以这样评价，是因为与其前辈 CyberTown 和 SecondLife 相比，在Altspace中，使用者几乎无法使用文字进行交流，而是完全通过语音和简单的肢体动作，这与真实环境下的社交情景非常接近，使用者们可以在虚拟的空间中一起打球甚至一起挥刀进行一场格斗。在 Altspace 中，每一个玩家都是真实的人，他们可以在Altspace中召集聚会或发表演说，如图1-14所示。在Altspace中，大多数人在真实世界中的身份变得不再有意义，在这个新世界中使用者得给自己重新设定新的角色，建立新的社交圈子。因此，使用者也可以重塑其社会地位，从而有可能获得更高的尊重。在SecondLife时代，这种虚拟环境中的尊重满足，正是驱使大量玩家长期滞留于简陋的虚拟世界中的主要原因。

人性需求：自我实现（创造的需要）

人类的最高需求是实现个人理想和抱负，发挥个人的能力。在这个过程中，“创造”是必须使用的手段。因此，人类具有一种天生的创造及表现创造能力的需求，创造能够帮助人们挖掘潜力，为人们提供快乐和满足。

就在撰写本章的时候，作者5岁的儿子央求自己去参观他刚刚用积木搭建的、能完成的最复杂的“超级城堡”。依从发展心理学的规律，作者必须尽快停下手上的工作，对他的“超级城堡”给出中肯的评价，表达对其创造行为的肯定，同时以建设性的方式指出其作品的不足。如果作者的动作产生延迟，或是忽视了儿子的请求，将会使他非常沮丧。

这种现象并不仅仅出在孩子身上，当表现创造能力的需求得不到满足时，就会引起人们巨大的心理落差，从而导致不愉快的情绪和难以平复的失落感。为此，人们不停地寻找新的创造手段来满足自己的创造表现欲望。

作为最具想象性的创造工具，虚拟现实突破了物理世界的限制，人们可以任意地在计算机创造的虚拟空间中重新定义基本法则。同时，在虚拟现实中，由于创造性工作的难度被软件工具大幅削弱，人们可以使用便捷的工具创作出前所未有的作品与其他人分享，这将彻底释放人们的创造欲望，人类将进入一个新的众创时代。

在用虚拟现实进行艺术创作的尝试中，Google的Tilt Brush无疑是最具代表性的，它是一款允许使用者在虚拟环境中绘制图像的虚拟现实应用，是虚拟现实对传统二维绘画艺术的一次颠覆。在这个系统中，使用者可以戴上 HTC Vive，通过数字画笔创建真人大小的3D画像。在虚拟现实环境中，整个空间都将作为巨幅画布，使用者可以充分发挥想象力创作新形式的数字艺术。如图1-15所示，左侧的两张插图展示了艺术家在虚拟现实环境中创作的情景。

随着虚拟现实的普及，越来越多的艺术家爱上了这款应用，这也使真正意义上的虚拟现实绘画艺术得以产生。2016年，Valve公司在游戏开发者大会展示了多位艺术家通过Tilt Brush在虚拟现实中创作的作品，这也可以算作历史上第一次面向公众的虚拟现实艺术展览。图1-15所示的右侧两幅插图分别是艺术家Sarah Northway创作的作品：空间之龙（Space Dragon），以及Chandana Ekanayake创作的作品：幻觉龙猫（Psychedelic Totoro）。

人性需求：自我实现（审美的需要）

很难有人能说明“美”是什么，但是所谓“爱美之心人皆有之”，无论是名人雅客还是贩夫走卒，每一个人对“美”的事物都充满了向往。美是那些能够让人获得需求满足和愉悦反应的事物所具有的特性。审美需要是人的高级精神需要，审美过程能够帮助人们认同自身存在的价值。同时，审美也是对人类本能的驱使和冲动支配的一种需求。

人们对美的追求往往超出了理性的范畴，人们尝试使用他们可以动用的一切手段来实现对美的追求，且不计成本。从最传统的绘画、雕塑、建筑，到先锋的装置艺术、媒体艺术，人们不断突破传统技术的界限，新的技术被不断用来拓展艺术疆土，以至于艺术的发展史简直就是技术发展史的另一种表现形式。在这种前提下，虚拟现实不可避免地被当作审美的工具。

“Render the Metaverse”是由Oculus举办的虚拟现实艺术作品竞赛，这个竞赛的举办标志着虚拟现实开始作为一种审美的手段，而不是技术手段出现在公众视野中。Benjamin Aguillon的Imagined Reality是该项赛事在2015年评选出的最佳作品，该作品是一副静态的全景图像，用户可以使用GearVR或是Oculus头戴式显示器对其进行观看，如图1-16所示。该作品通过将多个虚幻且不合逻辑的空间相互连接，结合一些具有指向性、符号化的对象，构成一个梦境般的场景，表现了艺术家丰富的想象力。作为评委的漫画艺术家Alex Ross对此评论道：“这幅作品出色地表现了通往虚拟现实中冒险和梦幻之地的道路。”

虚拟现实的内涵和外延

虚拟现实概念具有丰富的内涵，从狭义的虚拟现实技术到抽象的哲学畅想，不同的人在不同的语境对“虚拟现实”这个词汇有不同的理解。

最基础的一种理解是将“虚拟现实”作为一个技术领域代名词使用，这符合本书认同的习惯。因此，书中所出现的“虚拟现实”都用来指代虚拟现实技术，特指那些为了搭建虚拟环境所使用的工程技术手段的集合。

在另外一些不是非常严谨的描述语境中，“虚拟现实”有时会用来指代由虚拟现实技术创造出来的可交互虚拟场景，本书将使用“虚拟环境”这个词来描述。另外，对于虚拟现实的未来形态：以虚拟现实技术为基础的高沉浸、高真实感社会化网络平台，本书采用“虚拟世界”这个词来描述。

虚拟现实技术的定义

虚拟现实“Virtual Reality”一词的字面意思是“虚幻的真实”，我们可以进一步理解为“用虚拟的手段创造出一个真实的世界”。

早期，国内把虚拟现实翻译成“灵境”，这是一个比较有诗意的词，这个叫法从中文的角度更加准确，也更容易理解。

严格地说，虚拟现实并不是一个完整的技术体系。虚拟现实实际提出了一种问题，并划定了一个大致的解决办法，即如何通过计算机模拟可交互的虚拟环境。

赵沁平院士给出的虚拟现实定义为：“采用以计算机技术为核心的现代高新技术生成逼真的视、听、触觉一体化的一定范围的虚拟环境，用户可以借助专门的装备，以自然的方式与虚拟环境中的物体进行交互作用、相互影响，从而获得亲临对应真实环境的感受和体验。”

虚拟现实技术的四个重要因素如下。

沉浸感（Immersion）：让用户产生一种沉浸于虚拟环境的感觉，使用户的视觉、听觉、触觉，甚至味觉和嗅觉都被虚拟环境所“包裹”。

交互性（Interaction）：虚拟环境可以被用户所影响，并根据用户的行为做出相应的变化，而不是简单地将画面进行回放。

想象性（Imagination）：虚拟环境并不完全受制于真实世界，即使在真实世界不会发生或无法感知的事物，在虚拟环境中也可以被呈现出来。

智能性（Intelligence）：虚拟环境能够感知和理解用户行为，并依据设定的“性格”特质，智能地与用户进行自然的交流与互动，这种智能具有自我演化能力。

图1-17展示了虚拟现实系统与传统人机交互系统概念上的区别。图1-17（a）表示在传统的人机交互系统中，用户身处真实世界中，通过鼠标、键盘、显示器等传统设备与计算机生成的虚拟环境进行交互，此时虚拟环境与真实环境是完全隔离开的。图1-17（b）表示在虚拟现实系统中，用户被完全包裹在计算机生成的虚拟环境中，与真实环境隔绝。

虚拟现实技术彻底打破了空间对人类的束缚。以虚拟现实技术为基础的高沉浸、高真实感社会化虚拟网络平台，也就是“虚拟世界”平台，将会在不远的未来彻底改变我们的生活方式。图1-18所示为虚拟现实的一些使用情景。

虚拟现实的研究内容

虚拟现实是一个多学科交叉极为频繁的研究领域，与心理学、行为学、文学、戏剧、电影、医学都有很强的相关性。不过，虚拟现实本身还是以计算机学科为核心发展出来的，其最重要的基础是计算机图形学。

虚拟现实技术的几个重要研究内容，主要是围绕着如何构建出一个理想的可交互虚拟环境，具体包括获取、模拟、渲染、显示、交互、传输与存储等内容。

虚拟现实涉及的关键技术和研究内容如下。

1）建模与获取

建模与获取主要指将真实场景三维数字化的过程。一般来说，虚拟环境的创建很难脱离真实环境，所以构成虚拟环境的虚拟对象大多来源于真实世界。为此，需要首先为真实世界的对象建立数学模型和描述模型，以便能够在虚拟世界中对其进行表达。在完成建模之后，需要通过获取过程，得到真实世界中某一具体对象所对应的虚拟模型的参数，从而在虚拟环境中构建其对应的虚拟对象。例如，对于建筑物，可以通过三维网格配合贴图在虚拟环境中进行建模。在构建某一具体建筑物时，需要通过三维扫描设备对该建筑物进行获取，将其所有的三维细节迁移到虚拟环境里，最终获得一个具体的虚拟建筑物对象。

获取的内容不仅限于真实对象三维形状，还包括真实对象的纹理、光学反射特性、弹性等一系列物理参数。

2）模拟与仿真

虚拟现实的第二个重要研究领域是模拟和仿真。虚拟现实所构造的环境不是静止的，而是动态的、具有真实世界属性的环境。例如，在虚拟环境里，水是可以流动的，向天抛出重物是会掉落地面的。类似地，所有物体的合理动作和交互反应都需要模拟与仿真系统的支持。

模拟和仿真所涉及的领域极为广泛，涵盖了物理学、化学、光学、生物学等多个学科。目前，对真实世界的完整模拟是不存在的，大多数模拟和仿真系统是针对特定需求的。而且，由于受到虚拟现实实时性的要求限制，其所构建的仿真模型只是对真实世界实际情况的简单模拟。

常见的研究内容有动力学模拟（如刚体碰撞、柔性物体形变、空间动力学模拟等）、自然环境模拟（如水面模拟、大气的模拟、风的模拟等）、特殊效果的模拟（如火的模拟、爆炸的模拟、喷泉的模拟等）、专门用途的模拟（头发的模拟等）。

3）渲染绘制

渲染是计算机图形学领域最重要的概念。通过虚拟现实构造的虚拟环境是真三维的，但是头戴式显示器依然是基于二维图像的显示设备。也就是说，虚拟现实头戴显示设备依然是通过左眼、右眼两个单独的二维图像构成立体图像（或称为视差图像），让用户形成三维感觉的。因此，无论保存三维虚拟对象的数据是什么样的格式，最终还是以二维的图像格式呈现出来。将虚拟现实系统中存储的三维数据转换为二维图像的过程就称为渲染。

渲染与绘制是一个对效果和性能优化取舍的过程。使用者往往希望渲染出的最终场景像真实世界一样真实、充满细节，但是像“真实”一样“真实”是需要花费非常大的计算量的，有非常多的细节需要计算和绘制。例如，渲染一个虚拟人的皮肤细节就包括了虚拟人的皮肤颜色、皮肤的凹凸起伏、汗毛、毛孔、皮肤不同区域的暗斑、微笑的肌肉细节运动等。将这些内容都真实地反映在虚拟现实中，在很多时候是不经济的，所以需要进行取舍和优化。以何种原则和方法进行优化就是渲染研究领域的核心问题。

4）显示

显示技术作为虚拟现实最核心的一项研究内容，与光学密切相关。渲染工作是由计算机把三维数据变成二维的平面图像，而最终如何把图像高效优质地呈现在人眼中，就是显示技术的主要研究内容。目前，在虚拟现实技术中常用的显示技术包括桌面级别的屏幕显示技术，基于投影的大规模显示技术，以及基于头戴式显示器的个人显示技术等。

显示技术作为虚拟现实最独特的一个研究领域，是决定虚拟现实系统体验感的核心因素。目前，对于群体用户来说，具有高清晰度、高亮度的球幕影院能够提供最优质的非交互沉浸式体验。对于个人用户来说，轻便型大视场头戴式显示器是最主流的虚拟现实显示设备，能够提供最优质的可交互沉浸式体验。

5）交互与反馈

交互性是虚拟现实的基本特性。沉浸在虚拟环境中的使用者需要能够与虚拟环境进行实时的互动，才能让其相信虚拟环境的真实性。为了能够进行交互，计算机系统需要了解使用者的交互意图。为此，需要首先获得使用者的空间位置、头部姿态、眼睛凝视方向、身体姿态、手部姿态、语音等一系列交互信息。同时，需要为使用者在虚拟环境中建立可交互模型，通过实时获取使用者的交互动作信息驱动这些模型与虚拟对象产生相互作用，并通过仿真计算对虚拟环境的状态改变产生作用。

反馈是指虚拟环境中的状态变换反向作用于使用者。例如，一个虚拟球体在虚拟环境中撞到使用者时，使用者应该能够感受到真实的撞击感。反馈的种类主要分为力反馈，如模拟撞击、物体质量和物体的外壳等；触觉反馈，让使用者感受到虚拟物体表面材质的光滑程度、凹凸起伏等；声音反馈，虚拟对象位置及遮挡和反射导致的不同声音变化。

实现用户交互和反馈的设备种类繁多，将在第3章对它们进行分类讨论。

6）集成与应用

实现虚拟现实的技术种类繁多，每一种技术都有自身的适用范围与制约因素。目前还没有一种完美的全功能模拟环境能够满足所有的应用需求。如何针对不同的应用情景选择并开发专用的虚拟现实装备也是虚拟现实研究领域的一个重要研究内容。此外，如何有效地使用虚拟现实技术为各个行业服务，也是一个亟待研究的问题。

典型的虚拟现实形式

在讨论虚拟现实的时候很难用一个明确的描述界定虚拟现实的概念，这主要是因为虚拟现实实际上是为了解决“身临其境”这一问题而采用的各种技术的集合体。所以，一般在谈论虚拟现实概念的时候，更适合的方式是界定虚拟现实的典型形式。一般来说，会将虚拟现实的典型形式按照所使用的显示技术的不同分为三种：桌面式虚拟现实系统，基于投影的虚拟现实系统，基于头戴式显示器的虚拟现实系统。

桌面式虚拟现实系统

桌面式虚拟现实系统是最常用的虚拟现实形式，它采用较传统的显示屏幕作为显示设备，采用桌面交互装置，如鼠标、键盘、机械式力反馈设备进行交互。其沉浸度在三种典型形式中最低，但是因其搭建简易的特性，反而是目前虚拟现实系统中最为普及的。图1-19所示为一套典型的桌面虚拟现实系统Z-Space。该设备通过让用户佩戴偏振式眼镜，提供实时的三维立体显示效果，并通过集成在屏幕两侧的红外摄像机跟踪用户手持笔式交互设备的位置，完成对虚拟三维物体的操作。

桌面式虚拟现实系统的应用极为广泛。图1-20所示为著名的军事沙盒游戏《武装突袭3》。据悉，美军曾经通过这款游戏，以桌面式虚拟现实系统为基础，对新兵进行训练。

基于投影的虚拟现实系统

基于投影的虚拟现实系统通过多台投影机，将图像投射在环境中的异形表面上，从而产生高沉浸感的虚拟交互环境。其中，最典型的是CAVE（Cave Automatic Virtual Environment）系统，如图1-21所示[2]。

CAVE的目的是构建一个完全“包裹”用户的可交互虚拟环境。典型的CAVE系统由上下左右和前方的5个三维投影屏幕构成。同时，系统需要通过一套实时跟踪定位系统获取用户视点的位置和方向，从而驱动三维引擎，分别在5个投影表面上投射出正确的场景图像。

基于头戴式显示器的虚拟现实系统

基于头戴式显示器的虚拟现实系统是目前最为公众熟悉的虚拟现实典型系统。甚至在2016年以前，在大多数搜索引擎中直接输入“虚拟现实”进行搜索，就会出现图1-22所示的这张佩戴了VR 1280（Virtual Research Systems公司的虚拟现实头戴式显示器）、光学跟踪系统和数据手套的用户照片[3]。

近年来，随着技术的发展，针对普通消费者的，以新型低成本头戴式显示器为核心构建起来的，普适化的虚拟现实技术越来越成为各方关注的焦点。这也使得基于头戴式显示器的虚拟现实系统成为人们关注的重点。本书中主要讨论此种典型系统，但是在介绍到相关交互设备的时候，也会涉及前面两种典型系统。

虚拟现实的重要性

虚拟现实能够扩展真实世界，从而改变普通人的生活方式。因此，虚拟现实目前不仅仅是科学技术研究的热点，同时也受到各国政府的极大关注。日本政府在其发布的“创新2025”长期战略报告中，涉及的5个方向专门提出了“对世界开放的社会”，并在这个方向中强调了虚拟现实对未来的重要性。英国政府发布的2015—2020年新兴科学技术群战略报告中，8个新兴技术群有6个涉及虚拟现实技术。美国工程院更是早在2008年就将虚拟现实列为21世纪的14个重大科技挑战之一，并在研究资金资助上大幅度倾斜。美国军方一直是虚拟现实的忠实推崇者，美国国防部高级研究计划局（DARPA）作为虚拟现实技术成果的摇篮，正逐渐被很多非军事研究机构关注。

我国政府也极为重视虚拟现实领域的研究，从“十五”期间就组织了专门的国家级研究专项，开展虚拟现实基础核心技术的研究。同时，在国务院2006年2月9日发布的《国家中长期科学和技术发展规划纲要（2006—2020年）》中提出：要优先发展虚拟现实这一前沿技术，重点研究心理学、控制学、计算机图形学、数据库设计、实时分布系统、电子学和多媒体技术等多学科融合的技术，研究医学、娱乐、艺术与教育、军事及工业制造管理等多个相关领域的虚拟现实技术和系统。

虚拟现实技术无论从经济、民生和政治角度，都是人类一项极为重要的技术。从经济发展的角度看，虚拟现实作为新一代的人机接口技术，极有可能取代现有个人计算机屏幕交互方式，成为人们与信息世界交流的主要通道，会导致新一轮的终端升级，从而带动相关软件、内容、服务的升级，最终形成超过万亿的市场。

从生活方式演化角度看，虚拟现实能够提供前所未有的虚拟存在感和接近真实的虚拟社交，进一步将人类生存空间与数字空间相融合，从而推动人类生存方式演化的进程，对社会形态发展起到至关重要的作用。

从工作模式进化角度看，虚拟现实具有自然交互的特点，能够为科研、生产提供全新的仿真、模拟、测试、操作和展现手段，并有效提升沟通效率。在5年之内，虚拟现实（或增强现实）办公将成为虚拟现实的杀手级应用场景，从而颠覆传统办公的概念。

另外，虚拟现实具有更强的沉浸感和临在感，能够更直接地影响使用者的文化接纳、观念接纳和意识形态接纳。通过虚拟现实创造的虚拟场景，能够让人们更加感同身受地接受开发者的思想内涵。将在心灵慰籍、宗教推广甚至是意识形态变革中扮演令人震惊的角色。

虚拟现实正处于市场化关键期的初期阶段，主要的核心技术已基本成熟。目前，各国对其核心技术的研究竞赛已经进入白热化，这场竞赛可以与2000年左右的互联网技术大爆发相媲美。甚至可以不夸张地说，拥有虚拟现实核心技术的一方将在未来的十年占据技术的制高点，从而获得经济发展、民生改善、文化传播、意识形态侵入的优势。

需要明确的概念

虚拟现实与实景

虚拟现实的终极目的是制造一个令人置信的虚拟环境，可以说就是造梦。但是，需要什么样的手段来实现呢？在著名的智审潘仁美这个故事中，为了让潘仁美相信他已经死了，寇准搭建了一个丰都鬼城，找来了很多人扮演小鬼、冤魂和阎王，来套取潘仁美的供词。这是个非常有趣的故事，寇准的目的和虚拟现实创作者的目的非常接近，就是搭造一个等同于真实存在的环境。但可以肯定，这不算是虚拟现实技术，因为寇准使用的手段不是虚拟现实定义中明确规定的手段——基于计算机技术。所以，在定义上有一个严格的划分，虚拟现实是以计算机为核心，并以虚拟内容为主的系统；而那些主要通过实体造景结合部分数字内容来实现的系统，往往不被认为是虚拟现实系统。

这种概念混淆的情况常常出现在以投影为核心的虚拟环境系统中，如实体投影系统、基于投影的数字虚拟人系统、多媒体数字化舞台系统等。在分类时，这些系统往往被归类于空间增强现实系统（Spatial Augmented Reality）。

图1-23所示是由北京理工大学开发的用于汽车展示的实体投影系统，这种系统通过在真实汽车模型表面投射图像，模拟汽车不同的材质和外观。这样的系统以实体展示为主，可以构建出虚实结合的虚拟场景，但一般不被视为虚拟现实系统。

如图1-24所示是大型多媒体作品《驯龙记》的演出效果图。其大量使用了投影设备，将整个舞台构建成一个可以任意变化的虚拟空间，并结合真人与机器龙的表演，最终呈现出令人震惊的视觉场景。其使用的基于多投影机的虚拟环境构建技术，在底层上与CVAE系统非常相似，但是由于系统层面是以实体舞台和演员作为主体构建的，所以一般不认为这样的系统是虚拟现实系统。

虚拟现实与仿真

虚拟现实与仿真是两个比较难界定的概念，实际上它们在技术层面有很多共性的内涵，是两个相互包含的概念。

仿真技术也是通过计算机技术实现的，它与虚拟现实技术的区别在于目的性。仿真的目的是对物理环境进行一个严格的重现或准确的预测。仿真一般会用于推测天体的运动，预测天气的变化，甚至对经济学模型进行验证等。在工程学方面，可通过仿真技术对子弹的弹道进行模拟计算，对大厦抗震能力进行评估。仿真以计算为核心，所有的结果都是以物理世界的真实性为依据。在大多数的仿真应用中是不考虑“用户”概念的，换句话说，仿真技术的核心内涵并不是作为观看者的用户的体验和感受。

相对的，虚拟现实的目的就是创造一个给人体验的环境。所以，从根本目的的角度来讲，仿真是以数据为核心的，而虚拟现实是以人为核心的。在虚拟现实系统中的一个潜规则是：即使物理环境规则与虚拟环境规则不一样，也是可以接受的，只要满足“用户相信”这一前提即可。虚拟现实的四个特性中，第二条就是想象性，所以虚拟现实不像仿真这么死板和严格，可以引入一些想象的东西。这个特性使得虚拟现实能够成为艺术创作的重要手段。

此外，仿真技术更多关注对一个过程的描述，其结果并不一定是可视化的。相对的，虚拟现实创造的所有东西，一定是可看见、可摸到、可闻到的东西，因为它是以人为本创造的环境。早期，有研究人员把虚拟现实称为视景仿真，这个名字本身强调看得见内容的仿真；但视景仿真却远远不能完整描述虚拟现实的内容，因为虚拟现实还有更多交互的内容，还有更多叙事的需要。

虚拟现实与增强现实

虚拟现实与增强现实具有非常接近的技术基础，在应用形式上却有着巨大的差别。研究人员早期研究虚拟现实与增强现实的时候，认为虚拟现实与增强现实是一类技术，从发展角度讲，增强现实技术可以看作虚拟现实技术的一个特殊的分支，这主要是源于研究这两个领域的研究人员和技术体系非常接近。但是到目前为止，虚拟现实与增强现实已经演变为两个可以相互抗衡、相互独立的技术领域。虽然两者都是围绕“用户体验”这一核心问题，但两者的目的性又是不同的。

虚拟现实的目的是希望把用户从真实世界里剥离出来，在虚拟现实系统中，用户看到、听到、摸到、感受到的所有东西都是虚拟的，是由计算机生成的，跟真实环境没有关系。增强现实刚好相反，在增强现实系统中用户看到、听到、摸到的所有真实环境中的对象都与周围环境密切相关。同时，系统还要将更多的信息融合到这些真实的场景中，让用户同时看到、听到真实和虚拟两个世界的信息。

从未来的发展角度讲，虚拟现实与增强现实都具有巨大的发展潜力，会将未来的人类社会导向两个不同的方向。

从移动情景的信息交互角度来看，增强现实是手机的替代品，它解决的问题是人们和信息世界方便连接的问题。在这种情景下，用户在真实环境中不受室内外的限制，随意行走，增强现实可以随时随地将信息以自然呈现的方式提示给使用者。举例来说：在购物的时候，顾客拿起一个商品，他可能非常想知道这个商品在附近10家店铺里的价格分别是多少；或者在购买蔬菜时，他可能想知道某个蔬菜的生产地在哪里，整个运输过程是否符合食品安全要求。这些应用都与真实环境有极大联系，不能将用户剥离出原有世界。为满足这些需求，需要使用增强现实技术，它使得用户能够在真实场景的任意位置看到其所需要的信息。

相对的，在高沉浸体验方面，虚拟现实具有无与伦比的潜力，将会替代现有的个人计算机屏幕，帮助人类开辟新的虚拟生存空间。这些新开辟的高沉浸虚拟空间不但可以满足用户的心理需求，也在很大程度上满足用户的生理需求，这是目前互联网尚不能解决的问题。

举例来说，用户下班回到家，但是家里面积很小，他忽然想享受夏威夷海边早上8点的阳光。这时他就会选择虚拟现实系统，戴上头戴式显示器之后，通过一些日照模拟的硬件设备，可以感受到阳光。同时，在他视野中呈现夏威夷海滩的模拟环境，看到的是沙滩，是嬉水的游客，是跳草裙舞的夏威夷女孩。这时，他并不希望看到家里的环境，在这种情况下，就需要将使用者和真实环境隔离。同样的，当人们观看一个虚拟现实影片时，使用者可能沉浸在一个剧情设定的未来空间中，也同样不希望周围的房间环境打破这种氛围。

所以从需求上讲，虚拟现实与增强现实各有针对，各自都有自身发展的未来方向。同时，由于两者的目的不同，导致两者在具体应用实现技术上具有很大差异，这个差别在硬件设备和软件层面上都有所表现。

对于增强现实，其根本的核心是无处不在的显示，也就意味着其对便携性有强烈需求。例如，在增强现实商务社交应用中，使用者希望看到任何一个会场中的陌生人都有名片显示在其旁边。这个功能可以借助面部识别、大数据和互联网技术实现，并最终以增强现实的形式呈现出来。在这个应用情景下，有哪些因素是重要的呢？很明显，系统本地的运算能力并不特别重要，因为系统并不需要实现复杂的渲染，增强现实终端的计算单元需要做的只是把使用者面前的图像拍照，然后通过无线网络发回后台云服务器，通过云服务器的计算能力和后台海量数据实现人脸识别和身份识别，最终还是通过无线网络，将识别之后的信息传回终端呈现给使用者。这个过程实际上对实时性的要求并不严格，比如用户看到某个陌生人一秒钟之后，系统经过搜索将信息呈现出来，是完全可以接受的。在这个应用情境中，信息的准确性是极为重要的，而且设备的便携性很重要。因此，渲染出来的文字是否复杂绚丽，是否需要有三维图像来显示对方头像，不是那么重要。

但是，在虚拟现实里，情况刚好相反。还是以阳光海滩的虚拟体验为例，该系统的用户实际上并不关心所感受的海滩是否取材于真实场景，是否实时地与真实海滩的场景相对应。他们更加关心的是海滩环境的视觉体验感受，阳光模拟的舒适程度。这时，系统更加强调那些与显示相关的参数，如分辨率、色域、对比度等。在这样的系统中，当用户头部转动时，环境要跟着快速转动，不能有延迟和脱离感。因此，在虚拟现实系统中，更强调本地的实时计算能力，这和增强现实完全不同。

虚拟现实与混合现实

混合现实（Mixed Reality）也被称为Hybrid Reality，是指将真实世界和虚拟世界融合在一起的交互环境。混合现实包含来自真实世界和虚拟世界的物体、视觉输入。在不同的系统下，这些元素的不同组合同时在同一空间呈献给用户，构成一个“有虚有实”的环境，并且虚拟物体可以和环境及用户进行交互。

与纯粹的虚拟现实不同，混合现实的概念更广泛，如图1-25所示，混合现实囊括从接近纯粹真实的交互环境到纯粹虚拟交互环境的所有范围。在虚拟现实中，使用者完全沉浸在纯粹由人工合成的虚拟世界中，并与真实世界隔绝，在虚拟环境中不存在真实物体与真实世界的视觉刺激，甚至真实世界的物理法则都不再适用。而在混合现实中，使用者不但可以接触到真实的物体，还有可能感受到虚拟世界的部分视觉刺激。

对于混合现实系统，学术界存在不同的分类方式。其中一种经典的分类方式是将混合现实描述在图1-25所示的“虚拟连续体”上，“虚拟连续体”是一种简化的混合现实分类方式。图1-25中最左边是纯粹的真实环境，最右边是纯粹的虚拟环境，在两个极端环境中间的所有内容都被定义为“混合现实”。在该定义下，最突出的两个分类是增强现实（Augmented Reality）和增强虚拟（Augmented Virtuality）。增强现实指真实世界被计算机生成的图形图像所增强的显示环境。增强虚拟与之相反，指被真实物体所增强的虚拟现实环境。“虚拟连续体”的分类基于以下因素：显示环境是否主要基于视频或计算机图形；真实世界被用户直接观察，还是间接地通过电子显示媒介观察；观察者是否感觉自己是环境的一部分；显示的比例是否意图一致地映射到真实世界。

因此，典型混合现实系统的显示形式有可分为如下几种。

（1）非沉浸式的基于显示器的视频显示。

（2）沉浸式视频头戴显示器。

（3）光学透射式头戴显示器。

（4）视频透射式头戴显示器。

（5）部分沉浸或完全沉浸的纯数字环境，真实环境的视频添加在该环境里。

在“虚拟连续体”的基础上，Mann 提出了一个更通用的“虚拟-现实连续体”，即介导现实（Mediated Reality）。介导现实指代更广泛地使用设备对人类多种感知进行的人工修改的技术，这些修改包括增强、减少，或更改真实的感官输入。如图1-26所示，左侧的图中展示了对“真实”“虚拟”“介导”的分类。左下角的“R”代表“未曾修改过的现实”，虚拟程度由“虚拟轴”V 表征，越靠右表示虚拟得内容越多，图中下部平行于 V 轴的连续体内包含了增强现实（Augmented Reality）和增强虚拟（Augmented Virtually）。该分类方法还包含了对真实的修改程度的描述，修改程度由“介导轴”M表征，沿M轴越往上表示修改程度越高。图中上部平行于V轴的连续体内包含了介导现实（Mediated Reality）和介导虚拟（Mediated Virtually）。右上角的一点代表响应来自被严重修改过的现实中刺激的虚拟世界。图1-26右侧显示的介导现实的概念使混合现实的概念更普遍，它不仅包含“虚拟-现实连续体”，还加入了对真实世界的调制、故意削减等附加效果。

在这一概念之下，混合现实的系统形式可以分为如下几种。

1.被动力反馈结合虚拟现实系统

被动力反馈技术是指：采用真实物体作为系统中提供力触觉反馈的设备，利用真实物体的触觉和力觉特性，为用户提供更真实可靠的力触觉反馈。在该类系统下，用户通常佩戴视频式头戴式显示器，系统呈献给用户的内容通常是纯虚拟的。这类系统的优点是不需要用户佩戴力反馈手套或操作主动式力反馈设备，交互更加自然并且成本低，适用范围不受限制。

这种系统比较经典的代表，是北卡罗来纳大学教堂山分校的Insko在2001年所做的增强视觉悬崖真实感实验系统。在该系统中，被试者佩戴头戴式显示器观看纯虚拟环境。在虚拟世界中，被试者站在一个类似悬崖边上的室内环境（如图1-27右图所示）向下观察，而在真实世界中，实验组被试者站在与虚拟世界的地板对应的真实木地板上，对照组被试者则站在平地上观察同样的虚拟内容。结果显示，有被动力触觉反馈（真实木地板）的实验组被试者明显表现出更多的躲避深渊的行为，他们的心率及皮肤电导率变化同样高过对照组。这说明简单的真实物体的力触觉反馈就可以极大地增强虚拟环境的真实度。

2.空间投影增强现实（SAR）系统

空间投影增强现实是一种在真实环境中利用投影技术在真实物体上进行投影显示的技术。它将显示技术和用户分离开来，而将其集成到环境中去，从而解决了传统增强现实中视觉质量相关的问题（显示分辨率、视场角、焦距等），突破了技术限制（跟踪、照明等），并照顾了用户的人为因素（佩戴笨重、不适等）。

典型的SAR系统，例如北卡罗来纳大学教堂山分校的Kok-Lim Low等人在2001年建造的人体尺寸的可行走虚拟环境系统“Being There”。

“Being There”系统使用简化的建筑模型（泡沫聚苯乙烯建造的箱体及圆柱体等）充当投影对象（投影屏幕），其他建筑细节由投影机所投出的图像来进行呈现，投影图像在显示的时候需要根据观察者的观察视角进行实时的投影矫正。如图1-28所示，左上是该系统虚拟环境的模型，右上展示的是用泡沫聚苯乙烯建造的真实环境，下面一行展示了空间增强现实的效果，显示内容依赖于观察者的观察视角，从而使得显示在墙上的孔和窗户相对于观察者都具有正确的透视投影关系。这种模拟建筑内部的混合现实呈现方式使得系统具有非常高的真实感和沉浸感。

3.实物用户界面（TUI）系统

实物用户界面是一种利用特定实体组件和用户手势来操作虚拟环境的人机交互界面技术。它利用手势识别和视觉跟踪等技术对用户手部及实体组件进行跟踪，使得用户在佩戴头戴式显示器时能够直观地操纵虚拟对象。此类系统使用的实体组件因为具有用户熟悉的特征、物理限制及被使用时的动作属性，从而使得交互十分高效和自然。

其代表性系统是 Kato 等人在2000年提出的 VOMAR 系统，如图1-29所示。VOMAR采用基于视觉的物体跟踪技术，使用方形和斑点组合的人工标记实现对实体组件的跟踪。在该系统中，使用视频透射式头戴显示器实现用户的增强现实观察。

系统中的实体组件是贴有标志点的卡片，用来表示虚拟的家具，用户可以通过摆放卡片来完成家具的部署任务。

4.基于半反半透显示装置的混合现实系统

半反半透显示方法是实现虚实融合的另一种常用途径。在此类系统中，用户透过一块半透半反的镜子可以直接看见真实物体，同时虚拟物体的图像通过镜子的反射也可以呈献给用户。此外，系统还需要根据用户的视角调整虚拟物体在图像中的位置，从而在最终画面中将真实物体和虚拟物体图像进行准确的匹配。

典型系统如 HoloDesk，该系统利用一个光学透射式显示器以及一个 Kinect 摄像机，让用户产生直接触摸并操纵三维虚拟物体的错觉。图1-30所示为用户利用HoloDesk与三维虚拟物体进行直接交互的示意：在图 A 和图 B 中，用户通过一个半透半反的镀银镜看见一个三维虚拟物体，其中虚拟场景依据用户视角进行矫正；图 C 和图 D展示了用户的手可以在系统中进行三维交互（例如“捧”和“抓”）。图E中展示了其他真实物体与虚拟物体的交互。图1-31所示为HoloDesk的硬件构成。

虚拟现实相关重要概念的产生历史

虚拟现实有一个不太长但是极为丰富的历史，任何想要整理虚拟现实的尝试，都将陷入因其技术领域不清晰而导致的无法穷举的境地。因此，本书并不打算依次罗列虚拟现实技术的发展历史，而是通过探讨虚拟现实领域中的一些重要概念的出现历程，让读者对虚拟现实的发展有一个总体的了解。这一部分的内容建立在 Ivan Sutherland 对虚拟现实与可穿戴设备发展历史的整理上，有兴趣的读者可以访问他的网站来进一步了解相关内容（https://www.wareable.com/wearable-tech/origins-of-virtual-reality- 2535）。

1935：沉浸式虚拟环境

虚拟现实中最早、也是最重要的概念是“基于头戴显示器的高沉浸式虚拟环境”。这一概念的提出者并不是一名科学家，而是一名小说家。1935年，Stanley G.Weinbaum在他的短篇科幻小说《Pygmalion's Spectacles》中提出了以眼镜为基础，涉及视觉、嗅觉、触觉等全方位沉浸式体验的概念，被认为是首次提出沉浸式虚拟环境概念的作品。图1-32所示为1935年小说出版时的插图，展示了小说中描述的沉浸式“眼镜”及沉浸式体验的场景，其中有两个有趣的事实。首先，此处使用的沉浸式“眼镜”要比目前的大众型头戴式显示器轻便得多，更接近基于微型显示图像元的专业级头戴式显示器。其次，在这部人类首次出现的虚拟现实作品中，除了描绘了令人吃惊的虚拟景色，还着重描述了一位令人难以自禁的虚拟“异性”。这也为虚拟现实的未来发展指出了一种原始而重要的发展方向，为此，在本书的最后一章，我们将讨论宜居虚拟现实环境中虚拟伴侣的概念。

1957：三维显示及多感官呈现

谈到虚拟现实，就不能不提到Morton Heilig对于三维显示技术的贡献。实际上，Morton是一名导演，为了呈现其通过两台摄像机拍摄的立体画面，他于1957年开发了称为Sensorama的沉浸式三维显示设备。这是第一件沉浸式虚拟现实三维显示设备，在1962年被其申请了专利。Sensorama体积庞大、构造复杂，由震动座椅、立体声音响、大型显示器等部分组成，具有三维显示及立体声效果，能产生振动、气味、风吹等体验，如图1-33所示。后来，Sensorama被美国空军用来以虚拟现实的方式进行模拟飞行训练。

1961：头戴式显示器与头部位置跟踪

1961年，PHILCO公司的工程师承担了美国军方的一项绝密的研究计划。该计划的目的是实现身临其境地远程监视和操作，从而减少处理危险情景时的人员伤亡。这件被称为 Headsight 的装置由一块安装在用户头部的显示屏和一个电磁跟踪器组成。当用户转动头部时，可以看到远距离外的真实场景。实际上，这就是最早的头戴式显示器的原型。令人兴奋的是，工程师在提出头部可佩戴显示器概念的同时，基于电磁跟踪技术实现了头部的跟踪，这让用户在使用这个显示设备时与传统的监控设备体验完全不同，具有了初步的沉浸感。可以看到，这个 Headsight 已经与目前的头戴式显示系统极为接近，甚至可以说在顶层设计上与目前的设备完全相同，如图1-34所示。

1968：增强现实头戴式显示器

1968年，Ivan Sutherland完成了他的著名研究：达摩克里斯之剑。这是世界上第一套增强现实头戴式显示器。这套设备由于其质量较大而必须有连杆悬挂得名，如图1-35所示。Ivan 称这种显示器为“终极显示器”。这个设备在当时看起来是如此的笨拙和可笑，但是到今天为止，增强现实（而不是虚拟现实）技术将成为人类的终极显示技术这一观念已经为大多数科学家所接受，而达摩克里斯之剑正是这一技术的黎明之光。

1980：微型化

1980年前后，Steve Mann及其团队进行了一系列小型化可穿戴计算原型的研究，并提出了未来虚拟现实和增强现实的重要概念——微型化，如图1-36所示。Steve因此被人们称为可穿戴设备之父。

1984:“虚拟现实”

Jaron Lanier 是虚拟现实领域的传奇人物，这位具有艺术气息的科学家，创造了“Virtual Reality”这个词，这也是我们目前中文名词“虚拟现实”的来源。1984年，Jaron创建的VR Legend公司拼凑了一套价值超过10万美元的虚拟现实设备。这套设备让用户佩戴头戴式显示器的同时，给用户配备了一种称为数据手套的设备。同时，使用这套设备的两名用户可以在一个虚拟空间中，通过自己的手抓取虚拟的物体，如图1-37所示。这套系统不但首次提出了虚拟现实专用控制器的概念，也实现了多人共处一个空间的协同式虚拟现实系统，为今天的虚拟现实社交应用奠定了重要基础。

1993：虚拟现实家用游戏

20世纪90年代对虚拟现实行业来说是一段疯狂的时期。随着虚拟现实技术的不断发展，越来越多的商业大公司开始关注这一技术。他们听信了科学家的游说，认为虚拟现实技术是具有巨大市场潜力的下一代革命性技术，从而投入了大量资金研发面向公众的虚拟现实设备。在这一次浪潮中，日本公司起到了领导作用，其中较为著名的是世嘉公司在1993年开发的虚拟现实家用游戏机，如图1-38所示。不过很快，人们就发现那时的虚拟现实技术并不成熟，距离家用还遥遥无期。因此，这台于1993年CES大会被展出的游戏机实际上并没有上市。在这次浪潮中，另一个备受伤害的先锋公司是任天堂。1995年，他们开发的虚拟现实游戏机Virtual Boy遭遇了前所未有的市场失败，成为了历史上十大最失败电子产品的代表，也使得公司一度陷入困境，如图1-39所示。目前，虚拟现实的又一次浪潮已经到来，经历了20年的再次积累，虚拟现实终于达到了家庭使用的及格线。那些在20年前被尘封的古老设备也逐渐被人们所认识。

2014：普适型虚拟现实

2014年，蛰伏在研究者手中20余年的虚拟现实技术再次掀起一轮革新浪潮。此次浪潮的导火索是Facebook于2014年3月20日宣布斥资20亿美元收购虚拟现实设备公司Oculus。后者是一家成立仅两年、总部位于美国加州尔湾的创业公司，这笔交易金额在Facebook收购交易中排名第二。

Oculus 公司的主要贡献是提供了一种高性能、低价格的头盔显示设备：Oculus RIFT。Oculus RIFT在技术上并不比现有的其他头盔显示器更好，但是Oculus RIFT却成为了改写信息领域历史的宠儿，其决定性意义在于，Oculus RIFT 在提供了用户可以广泛接受的高显示性能的同时，还具有超低的价格，如图1-40所示。可以说，在多年技术发展的量变积累下，Oculus RIFT 幸运地率先达到了“雪崩”的临界点。这一事件也标志着普适型虚拟现实时代的来临。

2016：VR for Every One

根据市场研究公司Super Data发表的研究报告，到2016年年底，全球虚拟现实的头戴显示器销量已经超过630万台。其中，三星Gear VR的销量为450万台，索尼PSVR的销量接近100万台，Oculus和HTC Vive的销量分别为35.5万台和45万台，如图1-41所示。

此外，Google Cardboard的销量超过1000万台，其仿制品的销量预计还要超过这个数字。随着微软、Intel、联想、LG、HP、华为、小米等厂商的设备陆续推出，人人拥有虚拟现实设备的时代已经到来。虚拟现实技术正在越过设备障碍，迎来更美好的明天。

---

[1]Hogue J,Allen R,Smith R,et al.Virtual reality entertainment technology applied to military parachute simulation flight training[C]//Modeling and Simulation Technologies Conference,1997: 83-89.

[2]图像来源：http://www.vistandard.com/jcyj/cave/。

[3]图像来源：http://science.china.com.cn/2016-04/07/content_8688165.htm。