1.研究背景

几乎每个领域都有把已有的正统理论奉为圣经，从而拒斥一切“异端邪说”的卫道士。下面我们向经典理论提几个问题，广义信息论的基本思想也由此体现出来：

1. 人（或动物）能否接收信息？人收到信息和更具体更正确地了解事实是不是一回事？
2. 通常人并不知道确切的事实发生的概率和条件概率，而只能根据经验、知识、语言、感觉或测量信号作主观预测，这时信息量如何求法？
3. 常识告诉我们，主观预测与事实相符且精确，所得信息就多，反之，信息就少，信息论如何与常识保持一致？
4. 实际的通信系统通常是开放的，人对于事实(即信源和信道)的认识总是处于进化之中，这时信息量如何求法？

人们常说，我们的时代正走向信息化时代；然而信息论落后于时代在今日是再严重不过了。虽然Shannon理论声名卓著，然而它所涉及的信息仅仅是日常语言所说的信息的一小部分，即被减小的随机不确定性。而对于语义信息、感觉信息、偶然事件及测量数据提供的信息，Shannon理论无能为力；甚至在经典通信范围内，信源或信道可变时，信息也不可度量。

其实，曾和Shannon合著《通信的数学理论》^[28]一书的W. Weaver在该书中的一篇论文中就提出通信的三个水平：水平A——通信的技术问题，如Shannon理论研究的；水平B——考虑到语义问题；水平C——考虑到效用或价值问题。

继Weaver之后，许多学者对广义信息作了不懈的努力，建立了各种各样的广义信息测度公式^[4]，但是那些公式皆很难被理解和应用——如用于天气预报或股市预测。

笔者为了解释自己建立的色觉机制数学模型——色觉的译码模型——的合理性，从1988年开始研究感觉信息，后来又研究语义信息，继而建立了自己的广义信息理论。新的广义信息测度既和常识吻合，也是Shannon信息测度的自然推广。笔者以为自己找到了人们要找的东西。

设信源信号集合(或字母表)A＝{x₁，x₂，...，x_m}，信宿信号集合B＝{y₁，y₂，...，y_n}，X和Y分别是取值于A和B中元素的随机变量。已知P(x_i)和P(y_j|x_i)可以求出反条件概率

P(x_i| y_j)＝P(x_i)P( y_j|x_i)/P( y_j) (9.6.1)

这就是Bayes公式，其中

(9.6.2)

设有A中子集A_j，A_j的特征函数为Q(A_j|X)∈{0，1}，记X∈A_j 的概率是Q(A_j)，则

(9.6.3)

我们记Q(x_i|A_j)＝P(X＝x_i|X∈A_j)，于是有

(9.6.4)

上式中，我们也可以用Q(x_i)代替P(x_i)(用主观概率预测代替客观统计)。

上式是以集合为条件的Bayes公式，我们简称它为集合Bayes公式，Q(x_i|A_j)是A_j中x_i发生的概率。汪培庄教授提出的随机集落影理论把模糊集看作是清晰的随机集合的统计结果^[29]，通过随机集合落影理论，式(9.6.4)可被推广到集合模糊时的情况，推广后的集合特征函数Q(A_j|x_i)又叫x_i在A_j中的隶属度。设谓词y_j=“X在A_j中”，则A_j是A中使命题y_j(x_i)为真的所有x_i构成的子集，Q(A_j)是谓词y_j的逻辑概率，Q(A_j|x_i)是命题y_j(x_i)的逻辑概率，Q(x_i|A_j)是给定预言y_j时预测x_i发生的概率，即

Q(A_j)=Q(y_j为真)

Q(A_j|x_i)=Q(y_j为真|x_i)= Q(y_j(x_i)为真)

Q(x_i|A_j)=Q(x_i|y_j为真)

1. 客观概率——通常概率论所讨论的或Shannon信息论所涉及的概率是客观概率，或者说是基于频率解释的概率；
2. 主观概率——不是基于统计而是基于主观预测的概率，即Bayes学派理解的概率；
3. 逻辑概率——命题或预言被不同的人或在不同情况下判定为真的概率，即Carnap等人所讨论的概率。

1) 由历年气象数据统计得到的某地某月某日无雨的概率为客观概率——即数理统计所使用的概率，后面有时也简称为概率，如P(x_i)，P(y_j|x_i)等即是；

2) 预报员根据气象观察数据和理论(或听众根据预报语言)预测未来某天无雨的概率是主观概率，它有时也被称为可能性测度，后面的Q(x_i)，Q(x_i|A_j)等即是；

3) 给定天气或日降水量时，某一语句比如“这天有大雨”被听众判断为真的概率是逻辑概率，有时也被称之为置信度，后面的Q(A_j|x_i)，Q(A_j)等即是。

值得注意的是，语句y_j同时具有客观概率即语句被选择的概率P(y_j)和逻辑概率Q(A_j)，两者一般不等；前者是纯客观测度，后者和主观理解的语义有关。比如某气象台一年到头总是报“无雨”，则选择概率P(“无雨”)=1，而逻辑概率Q(“无雨”为真)则和“无雨”的语义有关，而和语句被选择与否无关；经验告诉我们，它约为0.8。

P(y_j|x_i)和Q(A_j|x_i)，Q(x_i|A_j)和P(x_i|y_j) 的区别同理。

广义通信模型充分体现了这样的思想：信息来自预测，信息的多少需要事实检验；越是把主观原以为偶然的事件预测为必然并且预测正确，信息就越多，否则信息就越少甚至为负值。根据这种思想，最一般的信息是预言信息，其它信息都是预言信息的特例。这一通信模型和波普尔(K. R. Popper)的科学进化模式极为一致；同时也贯彻和深化了马克思主义的实践检验真理思想；Weaver的一些思想也由此得到贯彻。

关于知识或科学理论的进化模式，Popper认为，科学理论起于问题，为了解决问题人们提出假设，理论即假设；假设受到事实检验；如果根据假设所作的预测与事实相符，就说它通过了检验并在某种程度上得到确证；如果与事实不符，它就被证伪了；于是人们又寻求新的更加经得起检验的假说或理论；如此往复，以至科学进化。这种进化和生物进化是类似的。

下面我们介绍和Popper科学理论进化模式相一致的广义通信模型。

假设我们根据已知条件Z和知识K推出客观事件X 发生的概率或可能性分布Q_k(X|Z)，我们称Q_k(X|Z)为主观预测；这一预测通过语句Y间接表达出来。语言可能是自然的，也可能是人工的。再设事件集合A＝{x₁，x₂，...，x_m}，语句集合B＝{y₁，y₂，...，y_n}，观察数据集合C＝{z₁，z₂，...，z_l}；X，Y，Z分别是取值于A，B，C中元素的随机变量。要度量的是Z或Y提供关于X的信息。下面我们用P(X)表示X的概率分布，用P(x_i)表示x_i或X＝x_i的概率；其它同理。通信模型如图9.2所示。

我们以降水量预报为例说明该模型：Z表示气象数据，K为气象知识或理论；Q_K(X|Z)为气象台预测的各种降水量可能性分布(即概率预报)。Y是语句，比如“有小雨”，“有大雨”；Q(X|Y为真)是听众根据语义推出的降水量可能性分布。Q(X)是听众事先根据经验估计的降水量的可能性分布。

检验知识K和预言Y的方法是看Q(X|Y为真)和Q(X)哪一个更与P(X|Y)相符，若前者更加相符，则预言有正的价值，若后者更加相符，预言价值为负。气象台为了提供更多的信息，于是就一再改进理论或推理方法，试图作出更正确且更精确的预报。如此反复，使预报和事实趋于一致。不光天气预报如此，疾病诊断如此，经济预测如此，各门科学知识的获得和进化也都如此。

1. 对于所有k，如果总有
   Q_K(X|z_k) ＝ P(X|z_k)
   这表明预测和事实相符合，这时预言信息就变为描述事实的语义信息。
2. 如果没有语言表达环节，信息由Z而不是由Y提供，或Y和Z是——对应的，则预言信息就变为概率预测信息。
3. 如果既有1)又有2)，并且Q(X)＝P(X)，则这时预言信息就变为Shannon信息。可以说Shannon信息是客观信息，广义信息是主观信息，前者是后者在认识完全正确时的特例。
4. 当所有Q_K(x_i|z_k)∈{0，1}，或Q(x_i|A_j)∈{0，1}时，表示预测的是确定事件。不过确定事件只是不确定事件的理想极限；即使物理定律，由于测量的分辨率有限及噪声干扰，用以检验的数据和理论预测的物理量都是更小范围内的不确定事件；所以，对于看似确定的物理事件，模型同样适用。

广义信息测度有两种形式，一个是概率预测信息，另一个是预言信息。后者可以通过集合Bayes公式转化为前者。首先我们看概率预测信息。

在上面的通信模型中，Z=z_k提供的关于x_i信息是(后面省去K)

(9.6.5)

z_k提供的关于X的平均信息是：

(9.6.6)

可以证明，即主观预测和事实吻合时，平均信息量达最大，这一最大值就是为Kullback信息。可以说上式是广义Kullback信息公式。广义Kullback信息可以通过图9.3中三条函数曲线的相似程度得到直观理解。

图 .3 概率预测平均信息图解

通过式(9.6.6)可以证明：事实P(X|z_k)一定时，若预测Q(X|z_k)较之先验估计Q(X)更近于事实，则信息量为正值，反之为负值；Q(X)一定时，预测Q(X|z_k)越近于事实，信息量越大。

对I(X；z_k)求平均就得到概率预测互信息公式

(9.6.7)

语义信息是类似的。对于语言通信来说我们一般并不知道P(x_i)和P(x_i| y_j)，所能做的是根据经验和语义知道Q(x_i)和Q(x_i| y_j为真)。因而我们要用语句的逻辑概率代替它的普通概率或选择概率。推广式(9.6.5)得到：当且仅当事实x_i发生时，

(9.6.8)

=log(命题的逻辑概率/谓词的逻辑概率)

1. 语句的先验逻辑概率Q(A_j)越小且后验逻辑概率Q(A_j|x_i)越大，信息量越大，反之，信息量越小，甚至为负；
2. 语句越模糊，即Q(A_j|x_i)和Q(A_j)越相近，信息量的绝对值越小。

下面从一个例子看上述公式如何和常识相符。股评家预测下个周末股市指数x_i的涨跌。当前指数是1000点，下周末实际指数是848点。所有可能的指数集合是A，比如A=[500，1500]，A中有子集{大约900点}，{可能在800到1000点之间}等。表9.2中是一些数据和计算结果。其中Q(A_j)和Q(A_j|x_i)来自常识。

表 .2 股市指数预测的信息评价(指数实际上是848点)

显然，以上结果合乎常理。当预言不变，为y_j=“指数X大约会是x_j”时，预言信息随实际指数x_i的变化如图9.4所示。

图 .4 股市预言“指数大约是x_j ”的信息

对I(x_i；y_j)求平均就得到度量语义信息的广义Kullback公式

(9.6.9)

(9.6.10)

(9.6.11)

(9.6.12)

分别是事实X的先验概率预测熵和后验概率预测熵，分别意味着当我们总是根据Q(X)和Q(X|Y)按照经典信息论提供的最优方式编码时，对X编码的平均码长，广义互信息I(X；Y)就正好是因预测而节省的平均码长；它可能是负的，这正说明预测不好会减少我们原有的信息。其中

(9.6.13)

(9.6.14)

分别是语句Y的先验和后验语义熵或模糊熵。它们具有限失真编码时平均码长意义^{[ 5]}。

1. Q(X|Y为真)和P(X|Y)越是相近，则H(X|Y)越小，平均信息量I(X；Y)越大；这也就是说，理论解释或预测和事实越符合，则理论相对来说越进步。
2. 当H(X|Y)一定时，Q(X)和P(X)越是不同，I(X；Y)就越大，这也就是说越是能把原以为偶然的东西预测为必然，知识或理论就越进步。
3. Q(A_j)越小而Q(A_j|x_i)越大(对于所有j)，则I(X；Y)越大；这也就是说，命题或预言的先验逻辑概率越小，后验逻辑概率越大，相应的理论就越有价值；若两者总是相等，理论就是非科学的。

我们可以把一种感觉 (比如颜色感觉)或一个测量信号(比如秤的读数)y_j 看作是一个模糊预测：“X大约是x_j”，用Q(A_j|x_i)表示x_i和x_j 的相似性或混淆概率，则上面的语义信息公式也可以用来度量感觉和测量信号的信息^[4]。

从广义信息论的角度看，许多信息传递或处理都有相似的过程(参看表9.3)。

对于表中信息传递或处理都存在一个评价问题_。评价预测、检测和模式识别……的好坏，最简单的标准是正确率标准。但是正确率标准往往并不合理。比如，100个人中有两个人有爱滋病，甲大夫诊断全没病(爱滋病)，他的正确率是98%；乙大夫判断90个真没病的人没病，而称其它10人可能有病；他的正确率不超过92%。根据常识，乙大夫比甲大夫优，虽然他的判断的正确率低些。股市预测类似，假设有两个股评家，一个平常是对的，但关键时候——比如股市发生重大转折时——是错的；另一个相反。两相比较，可能后者提供的信息更多，对股民也更有用。有人看今天涨就预测明天涨，正确率肯定不低于60%，但是不提供任何信息；总是提供模糊的预测也能提高正确率，但也未必增加信息。由于Shannon理论的局限性，用Shannon信息测度度量检测、预测和模式识别的信息也往往并不妥当。Shannon 自己评价通信质量就不用信息标准而用损失(或失真)作为标准。然而，损失或收益又往往是主观确定的，缺少客观意义。均方误差似乎是一个较为客观的损失函数，然而它像正确率一样，不能体现对小概率事件的重视。用广义信息测度作为预测、检测和模式识别的评价和优化准则将更加合理。

表 .3 广义信息的不同获取方式及相似性

如果预言y_j根据观察数据Z=z'作出，而且规则确定，即y_j＝y_j(z')，那么度量语义信息的广义Kullback公式变为

(9.6.15)

1. 怎样用最经济的方法获得能含有足够信息的Z，即怎样确定观察P(Z|X)?(观察问题)
2. 已知客观信源P(X)和观察P(Z|X)以及广义信息量I_ij＝I(x_i；y_j(z))，i，j＝1，2，...； 问提供怎样的判决Y=Y(Z)可传递最多信息?(判决问题)
3. 已知客观的P(X)和P(Z|X)，问选择怎样的判决语句Y，或收信人应如何理解Y才能使得I(X；y_j(z))尽可能大？(语义问题)