1.1 递归神经网络概述

根据神经元连接方式的不同，神经网络可分为两类：一类是前馈神经网络，简称前馈网络[3]，各神经元从输入层开始，依次接受前一层的信息，输入到下一层，直至输出层，各层间没有反馈，可用一个有向无环图表示，如BP神经网络，如图1-1所示；另一类是递归神经网络，与前馈神经网络相比，除了依次传播之外，信息的输入输出和神经元之间还存在信息反馈。这使得某时刻的输出不仅与该时的输入有关，并且还和以前的信息有关，从而使整个网络表现出动态特性。例如，1990年ElmanJL针对语音处理问题而提出来的Elman神经网络，是一种典型的局部反馈网络，如图1-2所示；Jordan MI提出的Jordan神经网络，也是一种局部反馈神经网络，与Elman神经网络很相似，如图1-3所示。

递归神经网络种类较多，具有代表性有以下几类。

1. Hopfield神经网络

1982年，美国物理学家HopfieldJJ提出了Hopfield神经网络模型[1]，是一个单层最简单的全反馈神经网络，是递归神经网络的典型代表（见图1-4）。Hopfield引入能量函数，使能量函数的极小解对应于网络的平衡态。网络的平衡态的求证就转换为能量函数极小解的求解。若Hopfield网络是收敛的和稳定的，则反馈与迭代的计算过程所产生的变化越来越小，当到达了稳定平衡状态时，Hopfield网络就会输出一个稳定的恒值。对于Hopfield网络来说，确定它在稳定平衡状态时的权系数是关键。基于非线性反馈动力学的特性，凭借其强大的功能和易于电路实现等特点，Hopfield神经网络成功地应用到联想记忆和最优化领域中。Hopfield神经网络简化的数学模型为

其中，i=1，2，…，n，ui（t）表示神经网络的状态；Ci＞0，Ri＞0和Ii分别为第i个神经元的电容常数、电阻常数和网络的外部输入；Tij表示第i个神经元到第j个神经元的连接权重；gj（·）表示神经网络的激活函数，激活函数通常取为S型函数（Sigmoidfunction），如gj（x）=tanh（x），gj（x）=1/（1+e-x），gj（x）=2/（1+e-2x）-1，gj（x）=π/2arctan（π/2x）等。

2. Cohen-Grossberg神经网络

1983年，CohenM A和GrossbergS提出了一种广义的递归神经网络——Co-hen-Grossberg神经网络[4]：

其中，函数ui（t）表示第i个神经元的状态变量；ai（·）>0是有界连续函数，表示放大函数；函数bi（·）连续，满足，；T=（tij）n×n是对称矩阵；si（·）是S型函数。其中神经元状态不再是二值，这种模型在具有固定权值的神经网络中具有一定的代表性，它的状态是根据一组常微分方程连续变化的。通过应用此类模型，可以将信息存放在系统中局部最小点上，进而减小存储空间，增大利用率，可见这类模型在信息的联想存储方面有巨大的应用价值，并在信号处理、联想记忆等领域得到了利用。

Hopfield神经网络是Cohen-Grossberg神经网络的特殊情况。相比Hopfield网络，Cohen-Grossberg网络更具备一般性，它不仅与生物网络紧密联系，而且在应用方面能够较好地解决系统存在的非线性和不确定问题，具有重要的研究意义。

3.细胞神经网络

基于Hopfield神经网络的直接影响和细胞自动机的启发，1988年美国科学家ChuaL O和YangL在积累了多年非线性运放电路研究成果的基础上，开创性地提出了细胞神经网络模型[2]。作为递归型神经网络一个典型代表，与Hopfield的人工网络相似，细胞神经网络也是一个大规模非线性模拟系统。不同于Hopfield网络的全局性连接，细胞神经网络具有细胞自动机的动力学特征，即每个细胞只与它的邻近细胞有连接，即局部连接。一个细胞是一个非线性电路单元，通常包含线性电容、线性电阻、线性和非线性压控电流源。细胞神经网络的局部连接性使其非常适合超大规模集成电路。细胞神经网络的分段线性的输出信号函数，具有双值输出、运行速度快，并行处理能力强的特点。基于生物细胞脉冲原理，细胞神经网络拥有良好的稳定性，因而在模式识别、图像处理等方面得到了广泛的应用。市场上已出现了基于细胞神经网络设计的各种专业芯片，如电子、光学和分子生物芯片。

一个二维的细胞神经网络，如图1-5所示，这个电路的大小是4×4的。小长方形代表称为细胞的电路单元。细胞间的连接表示相连细胞间有直接交互作用。

理论上，可以定义细胞神经网络是任何维的[5，6]。将M×N个细胞排成一个M行和N列的阵列，称为一个M×N细胞神经网络，称排在第i行第j列的细胞为（i，j），记为C（i，j）。下面给出C（i，j）邻域的定义：r-邻域。

定义1-1[2]（r-领域）在一细胞神经网络中，设

Nr（i，j）={C（k，l）| max{|k-i|，|l-j|}≤r，1≤k≤M，1≤l≤N}

称Nr（i，j）为细胞神经网络的细胞C（i，j）的r-领域，其中r是一个正整数。

如图1-6所示，给出了分别对应r=1，2，3的同一细胞（位于中间以阴影表示）的三个邻域，通常称1-邻域为3×3邻域，2-邻域为5×5邻域，3-邻域为7×7邻域。

如图1-7所示，每个细胞C（i，j）包含一个独立电源Eij；一个独立电流源I；一个线性电容C；两个线性电阻Rx和Ry；节点电位Vxij称为细胞C（i，j）的状态；节点电位Vuij称为细胞C（i，j）的输入；节点电位Vyij称为细胞C（i，j）的输出经由控制输入电位Vukl及输出电位Vykl的反馈与某个邻域细胞C（k，l）相耦合所得的至多3m个线性电压受控电流源，其中m是邻域细胞的数量，m=（2r+1）2。

实际上，Ixy（i，j；k，l）和Ixu（i，j；k，l）是线性电压受控电流源，对所有C（k，l）∈Nr（i，j），满足Ixy（i，j；k，l）=A（i，j；k，l）Vykl（t），Ixu（i，j；k，l）=B（i，j；k，l）Vukl。每个细胞中唯一的非线性元素是一个分段线性电压受控电流源；Iyx=（1/R）f（Vxij），其中f（·）是一个分段线性函数，如图1-8所示。

ChuaL O和Yang L应用基尔霍夫电流定律（KCL）和基尔霍夫电压定律（KVL），得到一个细胞的神经网络的M×N的电路方程模型[2]。其状态方程如下：

其中，1≤i≤M，1≤j≤N。Vyij（t）=1/2（|Vxij（t）+1|-|Vxij（t）-1|），1≤i≤M，1≤j≤N为输出函数（也称激活函数）；输入方程为Vuij=Eij，1≤i≤M，1≤j≤N；限制条件为|Vxij（0）|≤1，1≤i≤M，1≤j≤N，|Vuij|≤1，1≤i≤M，1≤j≤N；参数假设为C>0，Rx>0，A（i，j；k，l）=A（k，l;i，j），1≤i，k≤M；1≤j，l≤N。

式（1-3）中，Vxij、Vuij和Vyij分别表示一个细胞的状态电压、输入电压和输出电压。Vxij（t）、分别表示状态变量和其导数；Vyij（t）表示输出变量，是Vxij（t）的函数；Vuij（t）是输入常量；I是一个常量，表示偏置电流；Rx、C都是常量，分别表示电阻和电容。

为方便起见，简化一些符号并引入一些符号:

设A=（aij）MN×MN，其中，aN（i-1）+j，N（k-1）+l=A（i，j；k，l），1≤i，k≤M，1≤j，l≤N；设B=（bij）MN×MN，其中，bN（i-1）+j，N（k-1）+l=B（i，j；k，l），1≤i，k≤M，1≤j，l≤N；设x（t）=（xi（t））MN，其中xN（i-1）+j（t）=Vxij（t），1≤i≤M，1≤j≤N；设y（t）=（yi（t））MN，其中yN（i-1）+j（t）=Vyij（t），1≤i≤M，1≤j≤N；设U=（ui）MN，其中uN（i-1）+j=Vuij，1≤i≤M，1≤j≤N；设f（x（t））=（f（xi（t）））MN，1≤i≤MN。

对所有的C（k，l）∉Nr（i，j），有A（i，j；k，l）=B（i，j；k，l）=0。令n≜M× N，Rx=1，C=1。于是式（1-3）可以简化成下列形式：

其中，yj（t）=f（xj（t）），1≤j≤n为激活函数；常值uj常量为外部输入；参数约定为aij=aji，1≤i，j≤n。

式（1-4）用矩阵形式表示即为

其中，y（t）=f（x（t）），U=（ui）n=常量，1≤i≤n；参数约定为A=AT。

式（1-4）或式（1-5）为细胞神经网络的一般形式，亦称为细胞神经网络的标准形式，是n阶的常微分方程组。此形式也是众多学者的研究对象，并得到了很多成果。

Hopfield神经网络［式（1-1）］和细胞神经网络［式（1-4）］的拓扑结构虽然不同，但是这两种神经网络的简化后数学模型的标准形式是一致的。在研究的过程中，学者们对这两种神经网络中的参数进行了各种各样的改进或变形，如细胞神经网络（1-5）参数约定中A不一定是对称矩阵等，并且得到了许多结果[7-9]。对激活函数的范围也进行了扩展，可以是S型的、分段线性的、有界或者无界的单调不减的，或只满足Lipschitz条件的等。

4.广义细胞神经网络

1996年，EspejoS等提出了广义细胞神经网络[10]，作为细胞神经网络的一种推广，其可提供单元（细胞）高阶动力学线性动态部分及与应用有关的任意静态非线性化，保持各单元具有一致结构的同时，还允许单元间存在变化。用多变量替代细胞神经网络中的单变量，用非线性求和替代线性求和，因此广义细胞神经网络在一定程度上，使神经网络的运算能力及处理能力得以提高，在模式识别及图像处理等领域中有巨大的应用价值。一般的广义细胞神经网络的数学模型为

其中，

l≥1为常数。若l=1，则式（1-6）转化为细胞神经网络模型（1-5）。

5.双向联想记忆（BAM）神经网络

联想记忆网络是一种重要的递归神经网络，在众多的联想记忆网络模型中，以1988年Kosko提出的双向联想记忆（Bidirectional Associative Memory）[11]的神经网络的应用最为广泛，通常简记为BAM神经网络。该模型是将单层的自联想Heb-bian相关器推衍为双层的异联想模式匹配电路。于是，与自联想的Hopfiled网络相比，BAM网络可以实现双向异联想，这是一种大规模并行处理大量数据的有效方法。可分为离散型、连续型和自适应型等多种形式。一般的BAM网络的数学模型为：

在参考文献［12-14］中，Kosko B又给出BAM神经网络的推广模型。基于实时性和容错性，BAM网络在信号处理、神经控制、联想记忆和模式识别中的广泛应用，使得其在过去的几十年中得到了广泛研究。

6.分流抑制细胞神经网络

1993年，Bouzerdoun A和Pinter R B提出了分流抑制细胞神经网络[15]，扩大了细胞神经网络应用领域。分流抑制细胞神经网络的数学模型为：

其中，aij＞0；Cij表示位于第i行第j列的细胞元（i=1，2，…，n1；j=1，2，…，n2）；xij（t）表示细胞元Cij在时刻t的状态；fmn（xmn（t））表示细胞元Cmn在时刻t的信号输出函数；N（i，j，r）表示细胞元Cij的r邻域，其中N（i，j，r）={Cmn|max{|m-i|，|n-j|}≤r，1≤m≤n1，1≤n≤n2}。目前，分流抑制细胞神经网络在最优化、模式识别及图像处理等领域得到了成功的应用。