第1章 人脸图像信息处理技术

1.1 概述

在计算机视觉研究领域中，对目标物体进行定位与描述是一个备受关注的研究课题，从图像中找到感兴趣的目标区域并借助计算机进行解释是计算机视觉研究的一个基本问题，也是将计算机视觉技术应用于工业检测、目标识别和图像处理等领域中一个必不可少的重要步骤。这一技术已得到众多研究工作者的注意，并且已取得了大量的成果。

对于人脸图像，虽然人类可以从一幅人脸图像中轻松地分辨出面部特征点的准确位置，但是对于计算机来讲却并非一件易事。

早在20世纪70年代初，就有学者对人脸识别问题进行了初步的探索。早期的人脸图像处理研究大都是利用人脸的几何特征作为检测依据，并对输入的人脸图像有严格的限制，如要求人脸拍摄背景简单，必须面对摄像机等。此外，早期人脸图像处理系统都需要利用人的某些先验知识，摆脱不了人的干预。直到20世纪90年代，随着高速高性能计算机的出现，人脸图像处理方法有了很大的突破。近几年，人们越来越关心复杂情况下的人脸自动识别技术，人脸检测与定位得到了较多的重视，人脸检测进入了真正的机器自动检测阶段。

目前，国内外对人脸图像信息处理问题进行研究的机构很多，国外比较著名的有美国麻省理工学院（MIT）、美国卡耐基·梅隆大学（CMU）、密歇根州立大学（MSU）、加利福尼亚大学洛杉矶分校（UCLA）、英国的曼彻斯特大学（UM）等高等院校，国内有清华大学、北京工业大学、吉林大学、哈尔滨工业大学、中山大学、南京理工大学、南京大学、上海交通大学、浙江大学、北京交通大学、长春工业大学、中国科学院计算技术研究所和中国科学院自动化研究所等高等院校和科研院所。

人脸有复杂的三维表面结构，形成二维图像的变化非常复杂。尤其对于不同的人脸姿态、表情和不同的光照条件，得到二维图像的差别非常明显。因此准确的人脸图像描述、特征抽取与识别是一个热点课题。

人脸识别研究的发展历史可以分成三个阶段：第一阶段主要研究人脸识别所需要的面部特征，这一阶段的工作特点是识别过程全部依赖于操作人员。第二阶段是利用计算机进行识别的阶段。在该阶段，以Harmon和Lesk为代表的研究方法是基于几何特征参数的正面人脸表示，并给出了基于这一特征表示法的识别系统。另一种研究思路以Kaya和Kobayashi为代表，采用统计识别的方法，并用欧氏距离来度量人脸特征的差异。这两类方法都摆脱不了人的干预。第三阶段是真正的机器自动识别阶段。随着高速、高性能数字计算系统的发展，人脸识别方法有了一定的突破，出现了多种人脸自动识别系统，使人脸识别技术开始进入实用化阶段。典型的实用系统有Eyematic公司研发的人脸识别系统和我国清华大学研究并由公安部主持鉴定的“十五”攻关项目“人脸识别系统”。

1.1.1 人脸图像信息处理与识别系统典型结构

人脸图像信息处理系统由4个主要功能结构组成，如图1.1所示。

人脸检测与定位功能的任务是在输入图像中确定所有人脸（如果存在）在图像中的位置，提取出人脸类图像，将人脸从背景中分割出来。

特征提取和人脸识别功能可以实现辨认检测出的人脸是谁。

人脸分析功能主要完成人脸几何结构信息或统计信息分析，把人脸图像影射为特征数据，在有限失真准则下实现数据的降维描述，为特征提取和分类器设计提供依据。

人脸综合功能是根据人脸分析的结果和人脸描述的数据完成人脸的合成与重建。

人脸分析与综合是基于模型的视频编码的基础，在低码率数字视频通信领域具有重要应用价值。

在人脸图像信息处理系统的4个功能组件中，人脸检测结果直接影响后序处理的有效性，也决定着整个系统的性能。

人脸检测的基本思想是用知识或统计的方法对人脸建立模型，比较所有可能的待检测区域与人脸模型的匹配度，从而得到可能存在人脸的区域。人脸检测实际研究的是人脸和非人脸两类分类问题。检测方法大致可以分为4类：① 基于知识的方法；② 基于特征不变性的方法；③ 基于模板匹配的方法；④ 基于外观的方法。

1.基于知识的方法

这类方法利用人的知识建立若干规则，从而将人脸检测转化为假设检验问题。该方法采用一种分级的基于知识的人脸检测方法，也就是常说的马赛克方法，它给出了基于人脸区域灰度分布的规则，依据这些规则对图像从低分辨率到高分辨率进行筛选，以样本满足这些规则的程度作为检测的判据。这种方法在一组测试图像（60幅图像）中进行测试能够找到50幅图像中的人脸。但是这类方法存在一个问题，就是如何将人所具有的知识转化为规则，如果规则过于严格仔细，会出现由于不能满足所有条件而不能检测到人脸，如果规则过于普遍，那么又会出现错误的检测。同时这种方法无法适应人脸姿态的变化。

2.基于特征不变性的方法

这类方法基于这样一种假设，人们能够毫不费力地发现不同姿态、不同光线下的人或物体，所以他们必然存在某些不变的特征。这类方法主要是采用基于人脸特征来进行人脸检测的，如基于皮肤颜色、基于纹理特征的检测算法及基于多个特征综合的检测方法。这类方法的缺点在于这些特征会由于照明、噪声及遮挡情况而被破坏。在这种情况下很多方法都会失效。

3.基于模板匹配的方法

这类方法首先人工定义或者参数化地建立一个函数来描述标准人脸模式（通常是正面人脸），然后根据输入的人脸和定义的标准人脸的相关性来进行检测。主要有两类：预定义模板法和可变形模板法。该类方法的好处在于比较容易实现，但是对于比例、姿态、形状变化的自适应不是很好。最近提出了多分辨率模板、多比例模板、子模板等方法来适应比例及形状的变化。

4.基于外观的方法

这类方法主要依赖于统计分析和机器学习理论，对应于模板匹配的预先定义模板的方法，这类方法通过从样本图像学习获得“模板”进行人脸检测。通过将人脸图像视为一个高维向量将人脸检测问题转化为高维空间中分布信号的检测问题。该类方法主要包括以下几种。

（1） 特征脸（Eigenfaces）方法

这种方法将K-L变换引入了人脸检测，在人脸识别中采用的是主元子空间（特征脸），人脸检测利用的是次元子空间（特征脸空间的补空间），用待检测区域在次元子空间上的投影能量，即待检测区域到特征脸子空间的距离作为检测统计量，距离越小，表明越像人脸。

（2） 子空间方法

这种方法的特点在于简便易行，但由于没有利用反例样本信息，因此对与人脸类似的物体的辨别能力不足。

（3） 神经网络方法

人脸检测可以看成是只有人脸样本和非人脸样本的两类模式识别问题，通过对人脸样本集和非人脸样本集进行学习可以产生分类器。目前已经提出了多种神经网络结构用于人脸检测。神经网络在人脸检测方面获得了很大的成功，不过由于神经网络中的结点数选择、网络层数选择及学习速度的调整等不同对神经网络的检测结果有很大影响，一般情况下是通过经验来确定神经网络的结构与参数，因此神经网络方法有一定的盲目性。

由于人脸模式的多样性和图像获取过程的不确定性，人脸在图像空间中分布非常复杂，建立人脸在高维图像空间的精确分布模型是一件非常困难的工作。建立一个统计可靠的估计不仅需要大量的正例样本，而且还需要充分多的有效反例样本。目前研究的一个趋势是反例样本的产生和利用问题。这也是最终提高人脸检测正确率的必然道路。根据具体应用的需要，对检测环境进行合理的假设，从而简化问题，提高系统的实用性能也是一条切实可行的途径。

人脸识别系统的基本功能是：给定一个静止或动态人脸图像，利用某种方法对其进行处理，并和已存储的人脸数据库中图像进行匹配，从而确定给定图像中的人是不是库里面的特定人（人脸确认）或者判断是库里面的哪个人（人脸识别），其基本识别过程如图1.2所示。

人脸识别系统主要由4个功能模块组成，各模块所发挥的作用如下：

① 数字化及预处理模块主要完成对样本图像或待识别图像的归一化工作。即消除噪声干扰，消除或减小光照的影响，消除成像系统本身及外部环境等因素对待处理图像产生的干扰，克服不同图像中人脸大小和亮度的差异，为后续的分析与识别提供尽可能相同的条件。该模块的作用是为后续处理提供统一的图像信息。

② 特征提取模块采用某种策略对经过预处理后的人脸图像进行分析，将原始的人脸空间中的数据映像到特征空间，其本质是通过从人脸图像空间到特征空间的映像实现对原始数据的变换，以得到最能反映分类本质的特征，为后续有效地实现分类识别提供依据。提取特征的稳定性和有效性直接关系到识别效果的成败。在提取特征的过程中，应根据不同的识别方法选取相应的特征形式。

③ 分类器设计与训练模块主要对已知的人脸图像序列（称为训练序列）按照无监督或有监督的方式进行知识抽取，以便得到训练序列的分布规律和类分布特点，并把这些知识交给分类器作为分类判决的依据。

④ 人脸识别模块根据训练所得的参数完成人脸的判别、分类工作，得出判别结果。

1.1.2 人脸图像信息处理技术的研究内容

人脸识别（Face Recognition）的研究范围从广义上来讲，大致包括以下6个方面的内容。

1.人脸检测（Face Detection）与定位 即从动态的场景与复杂的背景中检测出人脸的存在并确定其位置，并且分离出人脸子图像，这一任务主要受到光照、噪声、面部倾斜及各种遮挡的影响。

2.人脸表征（Face Representation）（也称人脸特征提取） 即采用某种方法来表示检测出的人脸或数据库中已知人脸，通常的表示方法包括几何特征（如曲率、角点等）、代数特征（如特征向量、特征脸等）、固定特征模板、频谱特征等。

3.人脸识别（Face Identification） 即将待识别的人脸的特征与数据库中已知人脸特征进行匹配判决，按照一定的距离度量准则给出识别结果信息。这一过程的核心是选择适当的人脸表征方法与匹配策略。

4.表情/姿态分析（Expression/Gesture Analysis） 即对待识别人脸的表情或姿态信息进行分析，并对其加以分类。

5.生理分析（Physical Analysis） 即对待识别人脸的生理特征进行分析，得出其年龄、性别等相关信息，或者从几幅相关的图像推导出希望得到的人脸图像，如从父母图像推导出孩子的脸部图像、基于年龄增长的人脸图像估算等。

6.心理分析（Psychology Analysis） 即通过人脸表情分析使机器具有理解和获取人们内心世界活动的能力，进而更好地实现智能人机交互。

1.1.3 人脸图像信息处理技术应用

当今，人像信息处理技术在商业、安全和其他领域有着广泛的应用，主要有以下几类。

1.刑侦破案 公安部门在档案系统里存储有大量案例和嫌疑犯的照片，当从作案现场或其他途径获得某一嫌疑犯的照片或其面部特征的描述后，可以从数据库里迅速查找确认，大大提高了刑侦破案的准确性和效率。

2.证件验证 在许多场合（如海关、机场、机密部门等）证件验证是检验某人身份的一种常用手段，而身份证、驾驶证及其他很多证件上都有照片，如果用了人像信息处理技术，这项工作可以交给机器来完成，从而实现自动化智能管理。

3.入口控制 入口控制的范围很广，它可以是设在楼宇、单位和私人住宅入口的安全检查，也可以是计算机系统或者情报系统等的入口检查。在一些保密要求非常严格的部门，除了证件外，还要用一些特殊的技术手段，如指纹识别、掌纹识别、虹膜识别和语音（声纹）识别等。人脸识别与之相比，具有直接、方便和友好的特点。

4.视频监视 在许多银行、公司、企事业单位，保密部门、公共场合等处都设有24小时的视频监控。当异常情况或陌生人闯入时，需要实时跟踪、监控、识别和报警；另外，侦察员在破案时也要用摄像机对人进行跟踪。这需要对采集到的图像进行具体分析，就要用到人脸的检测、跟踪和识别技术。

1.1.4 人脸图像信息处理基本方法

在人脸图像信息处理过程中，输入的静止图像主要有正面和侧面两种情况，其中研究最多的是正面人像信息的处理，侧面人像信息处理对图像质量要求比较苛刻而发展缓慢。人像信息处理的核心问题是人脸图像的分析与识别。

静止图像中人脸识别的各种方法机理各不相同，主要可分为4大类。

第一类是基于几何特征的识别方法，该识别方法从图像中抽取特征比较困难，对强烈的表情变化或姿态变化鲁棒性较差，更适合于做粗分类。

第二类是基于相关匹配的方法，包括各种模板匹配法，主要是利用计算模板和图像灰度的自相关性来实现识别功能。

第三类为基于统计的识别方法，包括特征脸方法和隐马尔科夫方法。隐马尔科夫模型方法比较复杂，虽然被应用在人脸识别中，但一般多用于语音识别中。

第四类为基于联系机制的方法，包括一般的神经网络方法和弹性图匹配方法。基于神经网络的人脸识别方法很多，有其独有的优势，可避免复杂的特征提取工作，能根据有代表性的样本自我学习，具有鲁棒性和自适应性，而且其并行的信息处理方式，若能以硬件实现，就能显著地提高识别的速度。弹性图匹配方法在理论上优于特征脸方法，但它的计算量和存储量都较大。

基于几何特征的识别方法和基于相关匹配的识别方法是最早研究的两种传统的人脸识别方法，其余的均为现代人脸识别方法。