前言

随着5G技术的发展和移动终端的普及，基于深度图像的绘制技术被广泛用于3DTV、立体视频、自由视点视频、三维场景远程绘制等图像系统中，由此产生了虚拟视点图像这一新型可视媒体。给定参考视点下的彩色图和深度，基于深度图像的绘制技术就可以合成任意虚拟视点下的图像。与传统绘制方法相比，基于深度图像的绘制技术可以有效减少网络传输数据量，同时降低移动终端上的绘制与存储开销，有利于高真实感、高自由度图像或视频应用在中低端移动设备上。然而，参考视点对应的彩色图和深度的获取、编码、传输，以及虚拟视点合成等环节引入的失真，会影响最终呈现给用户的合成图像的视觉质量，最终降低移动终端交互式应用的用户体验。

图像质量度量发端于20世纪80年代，以结构相似性（structural similarity，SSIM）、盲/无参考图像空间质量评估器（blind/referenceless image spatial quality evaluator，BRISQUE）等为代表的图像质量度量指标因其能较好地反映图像的失真程度，被广泛应用于图像系统中。例如，Netflix视频引擎里集成了BRISQUE，在向远程终端推送视频时，视频引擎会实时监控终端上呈现的视频质量，当视频质量因网络拥塞低于某个阈值时，可通过增加缓冲时间、调整视频分辨率、改变关键帧编码模式等策略来调节。然而，上述方法在3DTV等系统中尚未得到普遍应用，其主要原因有以下两点。

（1）虚拟视点图像与传统图像不同。在远程终端呈现时，除引入传统图像的编码与量化失真、有损传输失真，还包含了因参考视点到虚拟视点的几何变换而引入的几何失真。该类失真与传统失真，如高斯白噪声、块效应等量化失真的表现形式迥异，具有非一致性、局部性的特点。因此，传统的图像质量度量指标难以准确评估虚拟视点图像的失真程度。

（2）作用环节不同。在传统的图像或视频系统中，图像质量度量结果大多是控制编码量化参数，使网络传输的数据满足率失真阈值要求。3DTV等系统除包含编码与传输环节，还包括参考视点与深度图像获取、虚拟视点合成与虚拟视点图像显示等环节。特别地，该系统编码与传输环节作用的对象不是传统的图像或视频，而是深度图像或视频，如何使用图像质量度量来优化上述环节是一个难点。

为此，本书通过分析虚拟视点图像失真的特点，介绍了无参考虚拟视点图像/视频质量度量方法，在此基础上研究虚拟视点图像质量度量的应用，并分别探索其在参考视点处理、深度图像传输以及虚拟视点合成等环节的作用。

本书共5章。第1章介绍虚拟视点图像的产生及应用、虚拟视点图像的失真特点，以及虚拟视点图像质量度量的意义；第2章介绍虚拟视点图像质量度量方法、国内外关于图像质量主观度量与图像质量客观度量的研究现状，以及虚拟视点图像质量度量的研究现状；第3章介绍无参考虚拟视点图像/视频质量度量方法的研究成果，包括基于视觉权重图的无参考图像质量度量方法、基于局部显著度的无参考虚拟视点图像质量度量方法、基于多模态特征聚合的无参考虚拟视点视频质量度量方法；第4章介绍虚拟视点图像质量度量的应用，包括基于虚拟视点图像质量度量的参考视点深度图像传输方法，以及基于视觉感知的无监督虚拟视点合成方法；第5章则对研究成果进行了总结，并对虚拟视点图像质量度量及其应用的发展做出展望。

本书主要内容是在国家自然科学基金（No.61877002）、北京市自然科学基金-丰台轨道交通前沿研究联合基金（No.L191009）的资助下完成的。本书的编写得到了北京工商大学计算机学院各级领导的大力支持与帮助，北京航空航天大学赵沁平院士、梁晓辉教授，北京工商大学李海生教授等在图书编写过程中给予了详细指导，在此表示衷心的感谢。

本书引用、借鉴和参考了上海交通大学、西安电子科技大学、法国南特大学等国内外同行专家的研究成果，在此表示衷心的感谢。

由于作者水平有限，书中不足之处敬请广大读者批评指正。

王晓川

2023年11月于北京工商大学耕耘楼