1.1.2　虚拟视点图像的应用

虚拟视点图像作为一类新型视觉信号，随着DIBR的交互式图像系统的发展，越来越受到学术界和工业界的关注。与自然图像相比，虚拟视点图像不需要复杂的光学仪器及成像过程；与已有的图像合成技术，如插值（interpolation）、图像变形（image morphing），基于图像的绘制（image-based rendering，IBR）等相比，DIBR技术仅需要少量参考视点下的彩色图（color image）和深度图（depth map），便可以合成任意虚拟视点下的图像，而不需要显式的几何信息，所生成的虚拟视点图像能够保证与参考视点的几何一致性，确保用户在视点变换时的临场感。此外，将DIBR技术应用于三维场景远程绘制系统中，可以极大地减轻客户端的图像绘制与存储开销。更重要是，DIBR技术支持用户与场景的三维交互，只要计算出用户交互对应的从参考视点到虚拟视点的相机变换参数矩阵，便可以实时高效地绘制出用户想要观看的图像，交互的自由度高于传统图像合成方法。此外，与传统的流媒体传输方法或者远程绘制方法相比，交互延迟大大降低。因此，DIBR技术被广泛用于立体视频、自由视点视频、三维场景远程绘制系统中。一个典型的DIBR系统的工作流程如图1-3所示。

图1-3　典型的DIBR系统的工作流程

如图1-3所示，DIBR系统主要包括参考视点深度图像获取、深度图像编码、深度图像传输、虚拟视点合成和虚拟视点图像显示5个环节。

其中，参考视点深度图像获取是指通过主动采集，或由计算机绘制得到的参考视点的深度图像。在一些文献中，深度图像与深度图是同一概念。为避免歧义，本书后面中提到的深度图像特指彩色图和对应视点的深度图这一图像对（image pair）。深度图像编码与深度图像传输主要是指对参考视点深度图像压缩（即同时考虑彩色图和深度图的压缩，下同），然后通过网络传输到客户端，再进行图像重建的过程。编码环节侧重于减少冗余编码信息，传输环节则主要考虑错误隐藏等问题。不同的应用场景下，编码传输的数据格式可能有较大的差异。例如，自由视点视频将参考视点深度图像组织为深度视频，以流的方式进行编码传输；三维场景远程绘制系统则倾向于传输单帧深度图像，以保证客户端较低的交互延迟。虚拟视点合成主要基于前述三维图像变换算法。由于三维图像变换本身是对参考视点像素的一种变换，并不能推断出参考视点图像中被遮挡的像素，因此虚拟视点图像中往往存在明显的失真。常见的虚拟视点合成中往往会附加一个后处理，例如使用纹理合成（texture synthesis)[22]、图像修复（image inpainting)[23]等方法以减少虚拟视点图像中的失真。虚拟视点图像显示环节则是指将虚拟视点图像显示到观察设备，供用户观看。根据显示设备的不同，还有可能对虚拟视点图像进行分辨率适应[24]、重定位（re-targeting）[25]或是立体显示[26]等操作。

下面举例介绍一些目前学术界与工业界具有影响力的DIBR系统。

（1）立体视频系统

2009年，三维电影《阿凡达》以出色的视觉效果将立体视频带入普罗大众的视野。此后，日本的松下、富士，韩国的LG等公司纷纷推出三维相机，丰富了立体图像/视频的采集途径。目前，三维相机价格相对昂贵，制约了立体视频数据的采集，而对单视点视频进行深度估计，再使用DIBR技术生成左右视点的视频，成为目前的研究热点。其中，清华大学戴琼海团队对立体视频生成技术和装置开展了长期研究，并研制出具有自主知识产权的立体视频重建装置，可以实时地实现普通二维视频的立体显示[27-29]。

（2）自由视点视频系统

立体视频虽然能够给用户以立体感，提升用户观看时的沉浸感，然而其提供的视场较小，且不具有交互性。国际标准化组织动态图像专家组自2003年起组织研究新一代视频系统方案，提议将自由视点视频系统作为下一代沉浸式视频系统的主要方案。2004年，日本三菱电子研究实验室率先设计了自由视点视频系统，支持用户自由切换观察视点，从任意角度观看视频。此后，日本名古屋大学、美国斯坦福大学等又利用光场构建了具有更大视场的显示系统，用户不需要佩戴辅助设备便可切换任意视点。此外，德国弗劳恩霍夫通信技术研究所（Heinrich-Hertz Institute，HHI），以及美国微软研究院针对自由视点视频编码，以及虚拟视点合成等环节开展了研究。国内学术界，如上海大学的张兆扬团队、西安电子科技大学的石光明团队等关于自由视点视频系统的研究已经取得了一些成果。

（3）三维场景远程绘制系统

三维图像变换算法最初便是为三维场景远程绘制设计的，因而适用于远程绘制系统。Mark[19]在他的博士论文中详细阐述了DIBR技术的三维场景远程绘制系统的实现细节。此后，Bao等[30-31]、Shi等[32]分别针对DIBR技术的三维场景远程绘制系统中存在的虚拟视点图像失真、交互延迟等问题提出相应的改进策略，提升了DIBR技术的三维场景远程绘制系统的服务质量。