1.3 香农信息论研究的进展与应用

1.3.1 香农信息论创立的背景

应该指出，香农信息论的创立主要是由于香农的杰出贡献，但也与当时的技术发展背景和前人的工作密不可分。

19世纪末到20世纪40年代正是通信理论与技术得到较大发展的时代，当时的主要通信技术与手段有电报（Morse，1830’s）*、电话（Bell，1876）、无线电报（Marconi，1887）、AM无线电(1900’s早期)、单边带调制（Carson，1922）、电视（1925—1927）、电传（1931）、调频（Armstrong，1936）*、脉码调制（Reeves，1937—1939）*、声码器（Dudley，1939）*、扩频（1940’s）*等，其中*表示对信息论的创立有较大影响的技术。

1948年以前，奈奎斯特（Nyquist），哈特利（Hartley）等人也做了许多有影响的工作。例如，Nyquist发现传输速率正比于在单位时间内信号电平数目的对数（1924）；Hartley提出“传输速率”“码间干扰”“系统传输信息的容量”等术语；维纳（Wiener）、莱斯（Rice）等把随机过程作为通信工程师的工具。所有这些都为信息理论的建立产生了重要影响。

热力学对香农信息论的创立也产生很大影响，香农提出用熵作为信息的度量，实际上也参考了热熵的概念。人们对热熵的认识主要有三个阶段：最早由克劳修斯提出宏观熵的公式：S=ΔQ/T，其中S为熵的变化，ΔQ为宏观系统热量的变化，T为绝对温度。玻尔兹曼提出微观系统的熵和微观系统状态数的对数成正比，后来由普郎克总结成公式：S=klogΩ，其中 k为玻尔兹曼常数，Ω为系统的微观系统状态数，该公式称为玻尔兹曼方程。吉布斯提出在微观系统状态概率不等情况下的热熵计算公式：S=-k Σipilogpi，该公式称为吉布斯方程。实际上，除常数k外，香农熵和吉布斯方程的热熵表达式相同。

1.3.2 香农的主要贡献

在信息论的产生与发展过程中香农所起的作用是关键性的，主要事件列举如下：

1948年，发表《通信的数学理论》，奠定了信息论的理论基础。

1956年，发表The Zero-Error Capacity of a Noisy Channal（《噪声信道的零差错容量》），指出当不允许有任何传输错误时，信道编码的概率方面问题消失，而仅保留图论方面的问题，开创了零差错容量的研究领域。

1959年，发表Coding Theorem for a Discrete Source with a Fidelity Criterion（《在保真度准则下的离散信源编码定理》），给出率失真定理的简单详细的证明，然后推广到更一般的信源和失真测度，最后到模拟信源，推动了信息率失真理论研究。

1961年，发表Two-Way Communication Channels（《双路通信信道》），将信息论应用到连接两个点A、B的信道，其中A、B需要双向通信，但两个方向互相干扰的情况，证明了信道的容量区域是凸的，并建立了此区域的内外边界，从而开拓了多用户理论（现称作网络信息论）的研究。

1.3.3 香农信息论研究进展

60多年来，无论是理论方面，还是应用方面，香农信息论都得到很大的发展，可分以下4个方面来叙述。

1.信息的量度

香农熵作为信息的量度，是信息论中最重要的概念，主要包含两项重要研究内容，一是以香农熵为基础，研究信息熵的估计方法，二是将信息熵用作推断工具的最大熵原理；另外就是提出新的有别于香农熵的信息量度方法，以适应新的应用，主要进展如下。

（1）信息熵的估计

自从香农信息论创立以来，已经提出了多种信息熵估计方法，并得到广泛应用。当前，信息熵估计方法已经从主要针对文本、图像等一般信源，转移到针对特殊信源（例如，DNA序列熵的估计）的研究。

（2）最大熵原理

1957年，统计物理学家杰尼斯（Jaynes）根据香农熵的概念，提出了当已知条件不充分时利用部分信息推断概率分布的方法，称为最大熵原理。它的基本思想是，求满足某些约束的事件概率分布时，应使得信源的熵最大，这样可以使我们依靠有限的数据达到尽可能客观的效果，克服可能引入的偏差。当前，最大熵原理已经应用于多个领域，其中包括信号检测与处理、模式分类、自然语言处理，生物医学，甚至经济学领域，都取得很好的效果。

（3）Kolmogorov熵

上世纪60年代Kolmogorov等提出一种与概率无关的信息量度，称为Kolmogorov算法熵。在数值y给定条件下使计算机输出x值最短的程序的长度，定义为在y条件下x的条件算法熵。算法熵可以作为算法复杂度的度量。

（4）Renyi熵

Renyi熵有一个参数α，是香农熵的单参数推广。Renyi熵称为与概率分布有关的α阶的信息度量，不满足可加性；当α→1时，收敛于香农熵。Renyi熵在很多领域都有应用，例如生物学、医学、遗传学、语言学、经济学和电器工程、计算机科学、地球物理学、化学和物理学等，在图象处理技术中也有应用，也广泛用于量子系统的研究，特别是用于量子纠缠态、量子通信协议、量子相关性的分析等。

（5）Tsallis熵

表示大范围的相互作用或长时间的记忆系统可能不满足遍历性，例如引力系统、莱维飞行（Levy flights）、分形现象、湍流物理、甚至经济学等领域，称为非广延系统。已经证明，波尔兹曼—吉布斯统计学不适于这类系统。1988年，由Tsallis提出一种适用于非广延系统的信息度量，推广了波尔兹曼—吉布斯熵，称为Tsallis熵。它也是香农熵的单参数（q）推广，满足伪可加性；当q→1时，收敛于香农熵。当前，Tsallis熵已经应用到很多系统，例如Levy异常扩散、自引力系统、星系的特殊速度、线性响应理论、扰动与变分方法、格林函数、光子-电子相互作用、低维耗散系统等。通常认为，Tsallis熵适用于非规则的但又不完全随机或混沌的运动的处理。Tsallis熵在信息处理方面的应用也是当前研究的热点之一。

2.无损数据压缩

无损数据压缩的理论基础是香农第一定理和通用信源编码的理论。通用信源编码就是对某种宽泛的一类可能信源中的每一个都渐近达到最佳性能的信源编码。Kolmogorov最早提出通用信源编码的概念（1965），而后Fitingof用组合论和概率论的方法（1966）研究了通用编码问题，Davisson等阐述了通用无损编码的基本理论（1973），Rissanen等在该领域也做了很多重要贡献。无损压缩技术主要进展如下。

（1）熵编码的进展，主要包括：①Huffman 解决了从固定到可变长度最优编码的构造，即Huffman编码；②Tunstall解决了可变适定消息集到固定长度最优编码的构造，即Tunstall编码；③Golomb提出了一种针对二元信源的游程编码，即Golomb编码；④Rissanen等使算术编码成为实用的编码技术；

（2）通用编码的进展，主要包括：①由A.Lempel和J.Ziv提出的方法（LZ算法）是当前最广泛使用的通用编码方法，该方法基于对信源序列的分段和匹配，使编译码都很简单，已经证明LZ算法对任何平稳遍历信源都能渐近达到以熵率编码；②Broose和Wheeler提出基于Broose-Wheeler变换的压缩编码，性能优于LZ系列编码；③Cleary和Witten提出部分匹配预测（Prediction by Partial Matching, PPM）压缩编码，是压缩率最好的编码；④在提高瞬时压缩效率的编码方面，Rissanen提出上下文树模型，由F.Willems等提出了上下文本树加权编码方法，该方法实际是用上下文本树加权的方法估计条件概率对信源序列进行算术编码，理论与实验证明这种方法的编码速率渐近达到熵率；

（3）分布信源编码

D.Slepian和J.Wolf提出相关信源编码是数据压缩理论最重要的进展之一，是无损分布信源编码的理论基础。他们证明，即使对两个相关信源分别编码但联合译码，所需总的码率也可以小于两个信源熵的和。此外具有边信息的信源编码和数据压缩的研究还在开展。

3.可靠通信

可靠通信的理论基础是香农第二定理，它的进展主要包括以下方面。

（1）各种特殊信道容量与有关编译码技术研究，主要包括：高斯信道、衰落信道、反馈信道、迭代译码、有约束信道（香农称做离散无噪声信道，是有约束序列编码的理论基础，有关技术广泛应用在磁与光记录设备中）和零差错信道（这是香农开辟的另一个研究领域，信息可以无错误编码的最大速率称零差错容量，这种容量的研究不同与非零差错容量的研究，它要以组合图论作为研究工具）等。

（2）多用户信道的研究，主要包括：多接入信道、无记忆高斯多接入信道、干扰信道、广播信道、未知参数信道、窃听信道等，现已构成信息论中一重要分支网络信息论。

（3）多入多出（MIMO）信道与空时编码的研究，主要包括：①Paulraj、Telatar、Foschini等人的工作奠定了空时信道研究的理论基础，②Tarokh提出了空时格码技术，推动了空时编码的研究，③当前多天线以及空时编码与调制技术的研究已成为新的研究领域。

（4）编译码理论的研究，主要包括：①Berlecamp 系统总结了代数编码理论，②BCH、RS码、卷积码、级联码以及TCM编码调制理论与技术的研究，③Berrou等提出的Turbo码和Gallager首先提出后来被重新认识的LDPC（低密度奇偶校验）码是信道编码理论研究的重要里程碑，其性能已经接近香农的信道容量界限。

（5）信道编码定理的研究。

4.有损数据压缩

有损数据压缩的理论基础是信息率失真理论，它的进展主要包括以下方面。

（1）Berger给出了更一般的率失真编码定理，发展了率失真编码理论。

（2）Wyner 和 Ziv 研究了在译码器具有边信息的有损信源编码问题，推动了多端有损压缩编码的研究。

（3）Hajek和Berger建立了随机场率失真编码理论的基础。

（4）Yang和Kieffer证明，对于信源统计特性和失真测度都通用的有损压缩编码是存在的，为通用有损压缩编码的研究提供了理论依据。

（5）信源和信道联合编码。

（6）实现有损压缩的技术得到很大发展，其中包括：标量与矢量量化、预测编码、变换编码等。这些技术都成功应用到语音、音频、图像、视频以及多媒体的压缩编码中。

1.3.4 香农信息论的应用

香农信息论产生于通信，所以它最重要的应用就在通信领域，除此以外，香农信息论已经渗透到多种其他学科，并取得了成功，其重要应用概括如下。

1.信息论提出了评估通信系统性能优劣的基本标准

香农信息论解决了通信系统传输有效性和传输可靠性性能指标的理论问题。在实际工作中，将通信系统实际的性能指标与香农指出的理论界限相比较，可以评估该系统性能的优劣，从而确定系统性能改进的方向，达到预期的目的。

2.信息论提供了从全局的观点观察和设计通信系统的理论方法

信息论提供的是一系列支持通信实践的指导原则，而某些数学原理仅处理通信系统的个别的方面。例如，在通信系统的设计中，给定信源编码的失真度要求、信道容量信息传输速率，那么信源编码和信道编码的方式可以自由选择，因此可以设计不同的方案，但是可能对应不同的设备复杂度和成本。利用香农信息论可以从全局考虑设计问题，从而达到通信系统的最佳设计。

3.信息论是从事与信息处理有关的研究、开发与管理人员的必备知识

信息论并不仅仅是通信的数学理论，而且它的处理方法适用于很宽的信息处理领域，所以也是从事与信息行业有关的各类人员必备的知识。实践证明，不掌握信息论的基本原理，往往不能从全局的角度处理具体的信息处理问题，限制了解决问题的思路。

4.信息论在其他领域的应用已获得很大的成功

除通信、计算机、信号处理和自动控制领域（电子信息领域）等外，信息理论方法已经渗透到生物学、医学、气象学、水文环境学、语言学、社会学和经济学等诸多领域，并取得成功。本书的第11章列举了香农信息论的主要应用，包括信源熵的估计、最大熵原理及其最大熵法在自然语言处理、经济学等领域的应用等。