1.4.3 感知信息论证明的主要定理
T1:距离信息与熵偏差关系定理
该定理指出,每获得1bit的距离信息等价于熵偏差缩小一半。该定理揭示了距离信息的本质是来源于测距精度的提高。事实上,距离信息和熵偏差就像一枚硬币的两面:距离信息是测距精度的正向指标,距离信息越大,测距精度越高;熵偏差是测距精度的反向指标,熵偏差越小,测距精度越高,从而在信息和误差之间建立了联系的桥梁。
该定理还可以被进一步推广到多参数估计和更复杂的多目标估计场景。
T2:参数估计定理
参数估计定理[42,54]给出了空间信息是参数估计的理论极限。具体来说,空间信息是可达的,不存在经验信息大于空间信息的任何估计器。如果采用熵误差指标,则参数估计定理表述为,熵误差是参数估计的理论极限,具体来说,熵误差是可达的,不存在经验熵误差小于熵误差的任何估计器。
不同于香农编码定理,参数估计定理的证明也是构造性的,指出了抽样后验估计是渐近最优方法,解决了最优参数估计问题。
由于参数估计不仅是雷达信号处理领域的基本问题,也是统计学中的基本问题,因此该定理在统计学中也具有十分重要的意义。
T3:目标检测定理
目标检测定理[42,54]给出了检测信息是目标检测的理论极限。具体来说,检测信息是可达的,不存在经验检测信息大于检测信息的任何检测器。
目标检测定理的证明也是构造性的,给出了抽样后验估计是渐近最优方法,解决了最优目标检测问题。
由于目标检测不仅是雷达信号处理领域的基本问题,也是统计学中的基本问题,因此该定理在统计学中也具有十分重要的意义。
T4:联合目标检测-参数估计定理
目标检测和参数估计的评价指标不同,长期以来,一直是雷达信号处理领域相对独立的两个研究方向。感知信息论将目标检测和参数估计统一起来,为目标检测和参数估计的联合提供了先决条件。联合目标检测-参数估计定理[42,56]提出,感知信息是联合目标检测-参数估计的理论极限,解决了最优联合目标检测和参数估计问题。
T5:虚警定理
在加性高斯白噪声信道上,如果观测时间足够长,则虚警概率PFA等于目标存在的先验概率π(1)。
关于检测器的性能,信息论只给出检测信息一个性能指标。检测信息依赖于先验概率分布。NP检测器的性能指标有虚警概率和检测概率。虚警定理[42]是信息论和NP检测器之间的桥梁。只要令PFA=P(1),则信息论和NP检测器的前提条件就完全一致了,并可以对性能指标分别进行客观评价。
虚警定理不仅在形式上非常优美,而且具有认识论的意义。我们知道,先验概率代表的是历史和经验,由于人类认识的局限性,因此对先验概率的了解总是不充分的。虚警意味着根据已知数据和事实做出的错误决策。虚警定理揭示了错误决策在本质上来源于人类认识的局限性。