第一章 引 论
这本书之所以叫广义信息论, 是因为:
1. 其中基本理论是C. E. Shannon(仙农)信息论[1]的自然推广;
2. 所讨论的是更广范围内的信息: 语义信息、感觉信息、
测量信号信息、甚至手段和目的之间的信息;
3. 它还涉及控制论、物理学、经济学、生物学和哲学。
1.1 背景
在我们这个新理论层出不穷,同时也是理论和见解没有多
少差别的时代,本书所写的好象注定要成为这些新理论中的一个;
不过不同的是,作者建立理论并不是因为在研究一些问题之前就立志要
建立什么,而是因为作者首先被一些问题所吸引,新理论只是解决这些问
题之后的总结。这些问题是:怎样度量一系列颜色或图象实际
给予的信息? 感觉分辨率怎样影响主观信息量? 怎样度量语
言、预言和谎言的信息?将有不确定事件发生时,选择怎样的
语句可以提供最多信息或信息价值?给定通信的主观效果要求
时,客观信息率或平均码长可能压缩到多少? 信源和信道可变时
信息量如何计算?集合中元素相互类似时,如何度量集合的熵、
模糊性及有序性?怎样衡量知识的多少和科学理论的进步?怎
样评价控制的复杂性和控制结果的合目的性...?
几乎每个领域都有把已有的正统理论奉为圣经, 从而拒斥
一切“异端邪说”的卫道士。下面我们向经典理论提几个问题,
广义信息论的基本思想也由此看出:
1. 人(或动物)能否接收信息? 人收到信息和更具体
更正确地了解事实是不是一回事?
2. 通常人并不知道确切的事实发生的概率和条件概率,
而只能根据经验、知识、语言、感觉或测量信号作主观预测,
这时信息量如何求法?
3. 常识告诉我们, 主观预测与事实相符且精确, 所得
信息就多,反之,信息就少, 信息论如何与常识一致?
4. 实际的通信系统通常是开放的, 人对于事实(即信
源和信道)的认识总是处于进化之中, 这时信息量如何求法?
人们常说,我们的时代正走向信息化时代; 然而信息论落
后于时代在今日是再严重不过了。虽然Shannon理论声名卓著,
然而它所涉及的信息仅仅是日常语言所说的信息的一小部分,
即被减小的随机不确定性。而对于语义信息、感觉信息、偶然事
件及测量数据提供的信息,Shannon理论无能为力; 甚至
在经典通信范围内,信源或信道可变时,信息也不可度量。主
要由于上述原因,从事信息科学的人大多属于下面两类,一类
是信息论工作者,他们研究电子通信理论和应用;其基础理论
是Shannon信息论。另一类是从事计算机科学、人工智能、 情
报检索及各种用计算机管理的人;在他们眼里,信息无非是被
处理过的有用数据,象某些教课书所定义的,而和Shannon 信
息论毫不相干。他们通常称自己研究的信息为广义信息。有的
地方还干脆把计算机系称作信息科学系。除了上述两类,也有
少数人试图用Shannon理论解决广义信息(如图象视觉信息、
语音信息)问题;虽然它们的可贵努力取得了不少可喜成果,
但是仍然遇到难以克服的困难,比如,关于视觉分辨率(是主
观的,并且往往是模糊的)怎样影响图象视觉信息的问题以及
图象数据压缩问题在理论上就未能很好解决。
时至今日,两极分化日益严重。如果你来到某个大学计算
机系问某个信息处理专家:“你们的工作要不要信息论指导?”
回答很可能是:“信息论研究的是狭义信息, 而我们研究的
是广义信息...。” 那种自信会让你觉得研究广义信息可
以不需要度量广义信息的数学理论。另一方面,搞经典信息论
的人往往认为只有自己搞的才是真正的信息科学,而视“信息”
的其他理解为浅薄。要有一个统一的信息科学,我们需要一个
关于广义信息的数学理论。
作者不是不知道下面事实:Shannon理论诞生不久, 许多
人把它用到日常信息交流场合,于是漏洞百出。为此Shannon
非常愤慨,并措辞严厉地予以指责;要求人们对它的理论的应
用不要超出随机统计领域。这说明什么呢?说明Shannon 有自
知之明。然而,有人却得出可笑结论:Shannon 反对信息论研
究语义信息(泛指涉及意义的信息)。似乎为了保卫Shannon
理论的纯洁性,国际权威信息论杂志IEEE TRAN. ON INFORMATION
THEORY就拒绝发表研究语义信息的论文。
实际上,任何一种通信都不能完全排除信号的意义问题。
Shannon理论中讨论的信息率失真问题就和信号的意义密切相
关。没有意义,哪来失真?由于避免考虑意义,经典的信息率
失真理论就注定了残缺不全。失真实际上就是主观信息损失,
因为不考虑意义,它就只能来自人为定义,而不是由统计确定;
强调统计却反而导致统计的忽视。控制系统中的预测质量本来就
应该用预测提供的信息作为评价标准, 因为排除意义, 预测信
息就无法度量。
其实,曾和Shannon合著《通信的数学理论》一书的W.
Weaver在该书中的一篇论文中就提出通信的三个水平:[2]
水平A——通信的技术问题,如Shannon理论研究的;水平B——
考虑到语义问题;水平C——考虑到效用或价值问题。 他还
指出:通讯的语义问题与工程技术方面无关,“这并不意味着
通讯的工程技术方面必然地与语义无关。” 后面我们将看到,
只有考虑意义或语义,Shannon提出的保真度信息率问题才能
得到根本解决。
如果说本书所研究的信息超出随机统计领域,那么它超出
的也只是经典的随机统计领域。近年来,汪培庄教授等人建立
的随机集落影理论把模糊集合论建立在随机集合统计的基础上
[3], 不仅把模糊性还原为随机性, 而且也推广了经典的随
机统计领域。本书正是基于这种更广意义的集合和统计理论。
捍卫一种理论的最好方法就是发展它,使旧的内核在新的
体系中永生,而不是为了它的纯洁性而限制它的发展和应用。
后面我们将看到,Shannon诸公式本身就有巨大潜力, 只是形
式上作一点点甚至是不易察觉的改动,它马上就威力倍增——
不只可以度量语义信息,而且可以度量控制结果的合目的性。
Shannon本人未必不愿看到这一点。
.....