第一章   

 

    这本书之所以叫广义信息论, 是因为:

    1. 其中基本理论是C. E. Shannon(仙农)信息论1]的自然推广;

    2. 所讨论的是更广范围内的信息: 语义信息、感觉信息、

测量信号信息、甚至手段和目的之间的信息;

    3. 它还涉及控制论、物理学、经济学、生物学和哲学。

 

     1.1  背景    

     在我们这个新理论层出不穷,同时也是理论和见解没有多

少差别的时代,本书所写的好象注定要成为这些新理论中的一个;

不过不同的是,作者建立理论并不是因为在研究一些问题之前就立志要

建立什么,而是因为作者首先被一些问题所吸引,新理论只是解决这些问

题之后的总结。这些问题是:怎样度量一系列颜色或图象实际

给予的信息? 感觉分辨率怎样影响主观信息量? 怎样度量语

言、预言和谎言的信息?将有不确定事件发生时,选择怎样的

语句可以提供最多信息或信息价值?给定通信的主观效果要求

,客观信息率或平均码长可能压缩到多少? 信源和信道可变时

信息量如何计算?集合中元素相互类似时,如何度量集合的熵、

模糊性及有序性?怎样衡量知识的多少和科学理论的进步?怎

样评价控制的复杂性和控制结果的合目的性...?

     几乎每个领域都有把已有的正统理论奉为圣经, 从而拒斥

一切“异端邪说”的卫道士。下面我们向经典理论提几个问题,

广义信息论的基本思想也由此看出:

     1. 人(或动物)能否接收信息? 人收到信息和更具体

更正确地了解事实是不是一回事?

     2. 通常人并不知道确切的事实发生的概率和条件概率,

而只能根据经验、知识、语言、感觉或测量信号作主观预测,

这时信息量如何求法?

    3. 常识告诉我们, 主观预测与事实相符且精确, 所得

信息就多,反之,信息就少, 信息论如何与常识一致?

    4. 实际的通信系统通常是开放的, 人对于事实(即信

源和信道)的认识总是处于进化之中, 这时信息量如何求法?

    人们常说,我们的时代正走向信息化时代; 然而信息论落

后于时代在今日是再严重不过了。虽然Shannon理论声名卓著, 

然而它所涉及的信息仅仅是日常语言所说的信息的一小部分,

即被减小的随机不确定性。而对于语义信息、感觉信息、偶然事

件及测量数据提供的信息,Shannon理论无能为力; 甚至

在经典通信范围内,信源或信道可变时,信息也不可度量。主

要由于上述原因,从事信息科学的人大多属于下面两类,一类

是信息论工作者,他们研究电子通信理论和应用;其基础理论

Shannon信息论。另一类是从事计算机科学、人工智能、 情

报检索及各种用计算机管理的人;在他们眼里,信息无非是被

处理过的有用数据,象某些教课书所定义的,而和Shannon 信

息论毫不相干。他们通常称自己研究的信息为广义信息。有的

地方还干脆把计算机系称作信息科学系。除了上述两类,也有

少数人试图用Shannon理论解决广义信息(如图象视觉信息、

语音信息)问题;虽然它们的可贵努力取得了不少可喜成果,

但是仍然遇到难以克服的困难,比如,关于视觉分辨率(是主

观的,并且往往是模糊的)怎样影响图象视觉信息的问题以及

图象数据压缩问题在理论上就未能很好解决。

    时至今日,两极分化日益严重。如果你来到某个大学计算

机系问某个信息处理专家:“你们的工作要不要信息论指导?”

回答很可能是:“信息论研究的是狭义信息, 而我们研究的

是广义信息...。 那种自信会让你觉得研究广义信息可

以不需要度量广义信息的数学理论。另一方面,搞经典信息论

的人往往认为只有自己搞的才是真正的信息科学,而视“信息”

的其他理解为浅薄。要有一个统一的信息科学,我们需要一个

关于广义信息的数学理论。

    作者不是不知道下面事实:Shannon理论诞生不久, 许多

人把它用到日常信息交流场合,于是漏洞百出。为此Shannon

非常愤慨,并措辞严厉地予以指责;要求人们对它的理论的应

用不要超出随机统计领域。这说明什么呢?说明Shannon 有自

知之明。然而,有人却得出可笑结论:Shannon 反对信息论研

究语义信息(泛指涉及意义的信息)。似乎为了保卫Shannon

理论的纯洁性,国际权威信息论杂志IEEE TRAN. ON INFORMATION

THEORY就拒绝发表研究语义信息的论文。

    实际上,任何一种通信都不能完全排除信号的意义问题。

Shannon理论中讨论的信息率失真问题就和信号的意义密切相

关。没有意义,哪来失真?由于避免考虑意义,经典的信息率

失真理论就注定了残缺不全。失真实际上就是主观信息损失,

因为不考虑意义,它就只能来自人为定义,而不是由统计确定;

强调统计却反而导致统计的忽视。控制系统中的预测质量本来就

应该用预测提供的信息作为评价标准, 因为排除意义, 预测信

息就无法度量。

    其实,曾和Shannon合著《通信的数学理论》一书的W.

Weaver在该书中的一篇论文中就提出通信的三个水平:[2]

水平A——通信的技术问题,如Shannon理论研究的;水平B——

考虑到语义问题;水平C——考虑到效用或价值问题。 他还

指出:通讯的语义问题与工程技术方面无关,“这并不意味着

通讯的工程技术方面必然地与语义无关。” 后面我们将看到,

只有考虑意义或语义,Shannon提出的保真度信息率问题才能

得到根本解决。

    如果说本书所研究的信息超出随机统计领域,那么它超出

的也只是经典的随机统计领域。近年来,汪培庄教授等人建立

的随机集落影理论把模糊集合论建立在随机集合统计的基础上

[3], 不仅把模糊性还原为随机性, 而且也推广了经典的随

机统计领域。本书正是基于这种更广意义的集合和统计理论。

    捍卫一种理论的最好方法就是发展它,使旧的内核在新的

体系中永生,而不是为了它的纯洁性而限制它的发展和应用。

后面我们将看到,Shannon诸公式本身就有巨大潜力, 只是形

式上作一点点甚至是不易察觉的改动,它马上就威力倍增——

不只可以度量语义信息,而且可以度量控制结果的合目的性。

Shannon本人未必不愿看到这一点。

.....