滤波器设计理论及应用:非线性非高斯系统状态估计
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

2.5 特征函数及其基本性质

本节主要介绍特征函数的定义、特征函数的性质、常用概率密度函数的特征函数、特征函数的应用、中心极限定理、利用特征函数求估计量的概率密度函数等。

2.5.1 一维特征函数

1.特征函数的定义

(1)离散随机序列的特征函数的定义:设一维离散随机序列x(k)∈R1的离散事件概率为P{X=x(k)}=pk,则该离散随机序列的特征函数为

img

(2.5.1)

(2)连续随机变量的特征函数的定义:设一维随机变量xR1的概率密度函数为f(x)∈R1,则该随机变量的特征函数φx(k) 定义为核函数eikx的期望值。

img

(2.5.2)

随机变量x的特征函数的本质是随机变量x的概率密度函数f(x) 的Fourier变换。任何概率密度函数都存在特征函数。

2.5.1 设随机变量X服从退化分布,即

img

求该随机变量X的特征函数。

由离散随机序列的特征函数的定义

img

img

(2.5.3)

2.5.2 设随机变量X服从参数为p的0-1分布(两点分布),求其特征函数。

img

可得

img

(2.5.4)

2.5.3 设随机变量X服从参数为n,p的二项分布,求其特征函数。

由离散随机序列特征函数的定义可得

img

(2.5.5)

2.5.4 设随机变量X服从参数为λ的泊松分布,求其特征函数。

由离散随机序列特征函数的定义可得

img

(2.5.6)

2.5.5 设随机变量X服从[−a,a] 均匀分布,求其特征函数。

服从[−a,a] 均匀分布的随机变量的概率密度函数为

img

根据连续随机变量特征函数的定义,当t≠0 时,有

img

(2.5.7)

t=0 时

img

2.5.6 设随机变量X服从参数为λ的指数分布,求其特征函数。

根据连续随机变量特征函数的定义,有

img

(2.5.8)

2.特征函数与概率密度函数的关系

已知一维随机变量x的概率密度函数f(x) ,人们往往关心其特征值(如均值、方差)。特征值提供了概率密度函数最重要的信息,但不能确定概率密度函数的所有性质。特征函数与概率密度函数是一一对应的。概率密度函数由特征函数的反Fourier变换唯一确定。

img

(2.5.9)

也就是说,概率密度函数f(x) 与其特征函数φx(k) 是等价的。

3.特征函数的性质及证明

1)特征函数的性质

(1)φx(0)=1

(2)|φx(k)|≤1

(3)img

(4)若y=ax+b,其中a,b为常数,则

img

(5)独立随机变量和的特征函数为各变量特征函数的积,即设x,y独立,则

img

(6)若E{xl} 存在,则φx(t) 为l次可导,并且对1≤ml,有

img

2)部分特征函数性质的证明

性质(5):独立随机变量和的特征函数为各变量特征函数的积,即设x,y独立,则

img

(2.5.10)

证明:由于xy之间是相互独立的,因此,eikxeiky之间也是相互独立的,从而有

img

(2.5.11)

可以推广到n个独立随机变量之和z=x1+x2+⋯+xn的特征函数,即

img

(2.5.12)

本性质(5)证毕。

利用反Fourier变换可求出随机变量z的概率密度函数:

img

(2.5.13)

性质(6):若E{xl} 存在,则φx(t) 为l次可导,并且对1≤ml,有

img

(2.5.14)

证明:因为E{xl} 存在,所以有img

于是含参数变量k的广义积分

img

(2.5.15)

可以对ml次导数。

所以,对0≤ml,有

img

(2.5.16)

k=0 ,即可得到

img

本性质(6)证毕。

4.常用概率密度函数的特征函数(表2.5.1)

表2.5.1 常用概率密度函数的特征函数

img

5.特征函数的应用

既然概率密度函数与特征函数是一一对应的,为什么还要引入特征函数呢?这是因为很多问题直接用概率密度函数不易处理,而利用特征函数进行处理就非常方便。

1)求均值和方差(以高斯分布为例)

设正态随机变量x的特征函数为

img

(2.5.17)

(1)求取均值。

img

(2.5.18)

(2)求取方差。

img

(2.5.19)

类似地,可以很容易求出各阶中心矩。

2)求概率密度函数的极限(以二项分布为例)

特征函数为

img

(2.5.20)

取极限p→0和Nν=pN为常数。

img

(2.5.21)

即二项分布在实验次数很多且均值保持不变时,趋向于泊松分布。同样可以证明ν很大时,泊松分布趋向于高斯分布。

3)求独立随机变量之和的概率密度函数

假设有两个独立的高斯随机变量xy,均值为μxμy,方差为imgimg,则z=x+y的特征函数为

img

(2.5.22)

这正是均值μz=μx+μy,方差img的高斯分布的特征函数。

同样可证泊松变量之和仍服从泊松分布。

4)中心极限定理

定理2.5.1假设有n个独立随机变量xj,均值与方差分别为μjimg。在大n极限下,img为高斯随机变量,均值和方差分别为imgimg

证明:定义

img

则有

img

yj的特征函数ϕj(k) 进行泰勒展开:

img

(2.5.23)

在大n极限下,忽略高阶项,可得

img

(2.5.24)

再定义

img

z的特征函数为

img

(2.5.25)

z为均值为0,方差为σ2/n的高斯分布。变换回img,则z为均值为img,方差为σ2的高斯分布。

n有限时,中心极限定理成立的条件是每个xj的贡献都很小,即z由大量微小贡献组合而成。

例如,很多地方经常用12个(0,1]均匀分布的随机变量之和来近似高斯分布。

img

(2.5.26)

如果某个或某几个xi的贡献非常大,则求和的结果将明显偏离高斯分布。

5)求估计量的概率密度函数

(1)以指数分布

img

(2.5.27)

为例。其参数ξ的最大似然估计量为

img

其分布可以用特征函数法求得。

由于ϕx(k)=1/(1−ikξ) ,所以

img

(2.5.28)

的特征函数为

img

通过反Fourier变换可得到z的概率密度函数:

img

(2.5.29)

img

(2.5.30)

这是伽马分布,在n很大时趋向于高斯分布。

(2)要求取寿命img的平均值,可以采用如下方式:

img

(2.5.31)

也可以利用概率密度函数进行积分来求取:

img

(2.5.32)

(3)对于λ=1/τ的最大似然估计量img,求取其期待值:

img

可以先求img的分布函数:

img

(2.5.33)

再用该函数求取期待值:

img

(2.5.34)

可以看出img不是无偏估计量。

(4)求估计量期待值的置信区间。利用特征函数法求出估计量(如img)的概率密度函数。有了估计量的概率密度函数(如img),很多问题都可以方便地进行处理,如求取置信区间。

对于给定的α,β以及观测值img,通过

img

(2.5.35)

img

(2.5.36)

求得置信区间[a,b]。

2.5.2 二维随机变量的特征函数

1.定义

连续型:设(X,Y)是一个二维随机变量,其分布函数为F(x,y) ,x,yR1t1,t2为任意实数,记

img

(2.5.37)

φ(t1,t2) 为(X,Y)的特征函数。

离散型:

img

(2.5.38)

其中,P(r,s)=P{X=r,Y=s} 。

设有n维随机变量

img

则称

img

(2.5.39)

n维随机变量(X1,X2,⋯,Xn) 的特征函数。

2.二维随机变量特征函数的性质

性质1设随机变量(X,Y) 的特征函数为φ(t1,t2) ,则有

(1)φ(0,0)=1 ,并且对任意t1,t2R,有|φ(t1,t2)|≤φ(0,0)=1 ;

(2)img

(3)φ(t1,t2) 于实平面上一致连续;

(4)φ(t1,0)=φ(t1) ,φ(0,t2)=φ2(t2) 。其中,φ1(t1),φ2(t2) 分别为的特征函数。

性质2a1,a2,b1,b2皆为常数,(X,Y) 为二维随机变量,则随机变量(a1X+b1,a2Y+b2) 的特征函数为img

性质3两个二元分布函数恒等的充分必要条件是它们的特征函数恒等。

性质4设随机变量(X,Y) 的特征函数为φ(t1,t2),a1,a2,b为任意常数,则Z=a1X+ a2Y+b的特征函数为

img

(2.5.40)

定理2.5.2随机变量(X,Y) 服从二维正态分布的充分必要条件是XY的任一线性组合

aX+bY+c

服从一维正态分布。其中,a,b,c为任意常数,且a,b不全为0。

3.相互独立随机变量的特征函数

定理2.5.3n个随机变量相互独立的充分必要条件为(X1,X2,⋯,Xn) 的特征函数满足

img

(2.5.41)

推论2.5.1X1,X2,⋯,Xnn个相互独立的随机变量,令imgimg,则YZ的特征函数分别为

img

(2.5.42)

注:对x,yRn,也有类似描述。