1.3 非线性时间序列中的独立性检验
由观测数据建立图模型，首先要检验顶点表示的变量（或序列）之间的各种相依联系.作为计量经济学、时间序列分析和统计学的重要概念之一，独立性检验在各领域得到大量研究.在时间序列中，Brock等[68]提出了BDS检验方法，用于检验时间序列的独立同分布假设.Brock等[69]又把BDS检验方法推广到用于检验时间序列中估计的残差的独立性.但BDS检验方法不能有效地确定模型的具体滞后阶数.另一类非参数检验方法是关于固定阶数的时间序列独立性检验，例如，Skaug等[70]直接比较了联合分布函数和边缘分布函数的乘积；Pinkse[71]等比较了联合概率密度函数和边缘概率密度函数的乘积；Pinkse[72]基于特征函数提出了固定阶数的非参数检验方法.其他序列独立性的非参数检验方法有：Delgado等[73]提出的经验分布函数方法，Hong[74]提出的广义谱检验的频域方法等.
上述非参数检验方法涉及各种函数的估计，对计算量要求较大.近年来，信息论中的熵度量方法由于能够捕捉时间序列中的相依联系，并且不需要对数据产生过程进行严格的参数假设，因而成为时间序列独立性检验的研究热点.熵作为时间序列中的相依联系度量始于 Joe[75，76]用光滑的非参数熵度量独立同分布随机向量的多维相依联系.Robinson[77]利用修正的熵度量发展了时间序列中的相依联系检验.进而，Granger等[78]提出了非参数熵统计量，用于检验时间序列中的滞后相依联系.熵度量的理论研究也得到了发展.Bernhard 等[79]证明了基于互信息的相依联系检验方法的重要性质.Urbach[80]和Granger等[81]研究了互信息、熵和相依联系之间的关系.Hong等[82]研究了检验时间序列独立性的熵统计量的渐近分布理论.最近，Matilla García等[83]提出了基于置换熵的非参数独立性检验方法.本节介绍基于Shnnon熵定义的互信息和条件互信息[84]、基于广义熵定义的广义互信息和广义条件互信息、基于线性熵的线性互信息和线性条件互信息等基本概念[85].
1.3.1 Shannon 熵和互信息
设连续型随机变量X，其概率密度函数为 f X（ x），Shannon定义连续型随机变量的熵为
Shannon熵的概念可以推广到多个连续型随机变量的情况.以两个随机变量X 和Y 的情况为例，设其概率密度函数分别为 fX（x）和 fY（y），联合概率密度函数为fX，Y（x，y），条件概率密度函数分别为 fX|Y（x|y）和 fY|X（y|x），则X 和Y的联合熵定义为
联合熵是对两个随机变量不确定性的度量.
随机变量X 和Y的条件熵H（X|Y）定义为
条件熵是在已知随机变量Y的情况下，对随机变量X 不确定性的度量.
容易推出，联合熵、无条件熵和条件熵存在下列关系
随机变量X 和Y的互信息为
随机变量的互信息表示了随机变量之间相互提供的信息量，故有
互信息还可以表示随机变量之间的统计依存程度.
由熵、联合熵、条件熵的定义，即式（1-14）、式（1-15）和式（1-16），可以推出
当随机变量X 和Y相互独立时，有 fX，Y（x，y）= fX（x） fY（y），于是有
和
1.3.2 两组多维随机向量之间的互信息和条件互信息
为简单具体起见，考虑随机变量X 和二维随机向量（Y，Z）之间的互信息.设这三个随机变量的概率密度函数分别为 fX（x）、fY（y）和fZ（z），其联合概率密度函数为fX，Y，Z（x，y，z）.仿照两个随机变量之间的互信息的定义，可以定义X 和（Y，Z）之间的互信息为
和
联合互信息I（X；Y，Z）表示随机变量X 和二维随机向量（Y，Z）之间相互可能提供的信息量，即I（X；Y，Z）是表示X 和（Y，Z）之间统计依存程度的度量.
在已知随机变量Z的条件下，随机变量X 和Y之间的条件互信息I（X；Y|Z）定义为
由式（1-25）可以得到下列关系式
可以证明，条件互信息是非负的，即I（X；Y|Z）≥0.
利用条件互信息把联合互信息做如下展开：
式（1-27）的含义是，二维随机向量（Y， Z）所提供的关于随机变量X 的信息量等于随机变量Y所提供的关于X 的信息量加上在已知Y的条件下随机变量Z所提供的关于X 的信息量.
在给定随机变量Z的条件下，当随机变量X 和Y条件独立时，有
于是有
1.3.3 广义熵、广义互信息和广义条件互信息
利用如下定义的 Renyi 熵可以得到一个更广义的度量.设随机变量X，其概率密度函数为 f X（ x），则X 的q阶Renyi熵定义为
对于二维随机向量（X，Y），其联合概率密度函数为 fX，Y（x，y），则联合q阶Renyi熵定义为
当q→1时，Renyi熵就是Shannon熵.
随机变量X 和Y的q阶互信息定义为
q阶条件互信息用于度量给定Z中包含的关于X 的信息的条件下，Y中包含的关于X 的信息
1.3.4 线性熵、线性互信息和线性条件互信息
设X=（X1，X2，…，Xn）是均值向量为 0，协方差矩阵为Σ的n维高斯分布向量，其概率密度函数为
式中，W=Σ-1，
为矩阵W 的行列式.
结合式（1-33）和式（1-15），定义线性Shannon熵为
定义q阶广义线性熵
为
利用
可得
随机变量X 和Y的q阶线性互信息Il（X；Y）定义为
在已知随机变量Z 的条件下，随机变量X 和Y 之间的q阶线性条件互信息Il（X；Y|Z）定义为
式中，ΣXYZ、ΣXZ、ΣYZ和ΣZ分别表示（X，Y，Z）、（X，Z）、（Y，Z）和Z的协方差矩阵或方差.
线性互信息和线性条件互信息与阶数q无关，可记为Il（X；Y|Z），但式（1-34）和式（1-36）的线性熵是q的函数.根据定义，线性熵、线性互信息和线性条件互信息只能度量随机变量之间的线性相关关系.