1.3 模式分类

设有c个模式类别：ω₁，ω₂，…，ω_c，X为一个待识别样本，模式分类问题就是将X映射到决策空间上，即将其分类到一个最相近或相似的模式类别。

1.3.1 贝叶斯分类器

设各模式类别的先验概率与条件分布密度函数分别为P（ω_i）与P（X|ω_i）（i=1，…，c）。对于待识别样本X，计算出样本X属于各模式类的后验概率P（ω_i|X），最小错误率贝叶斯（Bayes）判决规则根据概率最大原则进行分类判决，即

在c=2的情形下，假设条件分布服从正态分布，当两个条件协方差矩阵不相等时，最小错误率贝叶斯判决规则所对应的判决函数是一个二次函数，如图1-3中的实线所示；当两个条件协方差矩阵相等时，最小错误率贝叶斯判决规则所对应的判决函数是一个一次函数，其函数曲线为两个分布的中心连线（图1-3中的水平虚线）的垂直平分线（图1-3中的竖直虚线），即各类以其中心为代表，按待识别样本到各类代表的距离最小原则进行分类。

1.3.2 最小距离分类器

在实际应用中，类条件概率密度是未知的，需要大量样本进行估计。为此，可以利用样本集直接设计分类器。

将ω_i类模式的训练样本记为X_ij（j=1，…，M_i），其样本均值记为

最小距离分类器对于各模式只选取一个代表m_i，对于待识别样本X，计算出样本X与各模式代表m_i的欧几里得距离||X-m_i||，根据距离最小原则进行分类判决如下：

在c=2的情形下，最小距离分类器的判决函数曲线就是两个样本均值连线的垂直平分线。

欧几里得距离刻画了模式样本之间的相似程度，而样本相关系数也是能够刻画模式样本之间相似程度的一种度量方法。采用样本相关系数代替欧几里得距离，可以得到最大相关分类器。最大相关分类器对于各模式只选取一个代表m_i，对于待识别样本X，计算出样本X与各模式代表m_i的样本相关系数ρ（X，m_i），根据相关系数最大原则进行分类判决如下：

1.3.3 最近邻分类器

最近邻距离分类器也是按距离最小原则分类，但各模式不是只选一个代表，而是把它所有的训练样本都作为代表。对于待识别样本X，计算出样本X与各模式代表X_ij的欧几里得距离||X-X_ij||，进行分类判决如下：

最近邻相关分类器也是按相关系数最大原则分类，但各模式不是只选一个代表，而是把其所有训练样本都作为代表。对于待识别样本X，计算出样本X与各模式代表X_ij的样本相关系数ρ（X，X_ij），进行分类判决如下：

1.3.4 BP神经网络

在1986年Rumelhart^[15，16]提出了一种按误差反向传播（Back-Propagation，BP）算法训练的三层前馈网络，简称BP神经网络，其拓扑结构包括了输入层、隐含层和输出层，如图1-4所示。

在图1-4中，信息正向传播通过全连接线性组合的激活函数分别计算隐含层的输出、输出层的输出，而误差反向传播可以利用输出层神经元的误差调节隐含层-输出层的全连接参数与阈值，并利用隐含层神经元的误差调节输入层-隐含层的全连接参数与阈值。BP神经网络可以逼近任意连续函数，具有很强的非线性映射能力。近几年出现的深度神经网络可以看成是BP神经网络的发展。

1.3.5 支持向量机

支持向量机是20世纪90年代在统计学习理论的基础上发展起来的模式识别方法，在解决小样本高维模式识别问题中表现出特色与优势^[17，18]。

给定一个二分类问题，假设在模式表示空间用一个线性分类映射Ψ（X）=w^TX+b可以将训练样本集中的两个类准确无误地分开，即假设训练样本集是线性可分的。不妨将分类映射Ψ（X）规范化，使得对于所有的训练样本都满足|Ψ（X）|≥1。此时，可以说明分类间隔为。经典的支持向量机是以下优化问题的解：

式中，y_i∈{1，-1}，是训练样本X_i的类别标签（i=1，…，M）。超平面|Ψ（X）|=1上的训练样本称为支持向量。||w||²越小，分类间隔越大，从而支持向量机的泛化能力越强。针对非线性可分的情况，对于每一个训练样本可以引入松弛变量ξ_i≥0以确定软边界，优化问题为

式中，C为权值。对于多分类问题，支持向量机有很多解决方案。

1.3.6 分类器组合

不同性质的特征往往反映模式的不同方面，在一种特征空间很难区分的两种模式可能在另一种特征空间上很容易分开；而对应于同一特征的不同分类器又从不同的角度将该特征映射到决策空间上。因此，利用不同性质的特征和不同分类器的组合，就可能全面反映出一个模式，从而得到一个较好的分类结果。

多传感器数据融合可以有效地解决单传感器的不足，更精确地观察和解释环境，有着重要的理论研究价值和实际应用价值。从处理对象的层次上，多源信息融合研究可分为低层（像素级）、中层（特征级）和高层（决策级）三个层次。从数据融合的角度看，可以认为多分类器的组合属于决策级层次的信息融合。

分类器组合方法很多^[19]，主要有择多判决法（投票表决法、计分法）、线性加权法、贝叶斯估计法、证据推理法、模糊推理法，以及将分类结果作为一种新的输入特征的神经网络组合方法等。