语义信息公式浅谈及图解

 

鲁晨光

 

1.经典信息量计算公式

 

仙农没有提供单个信号信息量公式,只提出平均信息量公式:

 

I(X;Y)=H(X)-H(X|Y)

(1)

意思是:随机信号Y提供关于随机事件X的信息等于X的先验熵H(X)减去X的后验熵H(X|Y). 有时候我们也说H(X)是平均信息量,那是假定,Y=X,这时H(X|X)=0. 于是I(X;Y)=H(X).

 

倒是Hartley曾提出了单个事件的信息公式:

 

I=logN

 (2)

比如掷骰子打赌,一个骰子显示的数目是6个当中的一个, 于是信息量等于log6=2.59比特(以2为底). 后来有人结合Hartley公式和Shannon公式, 提出用

 

I=P2/P1

(3)

计算单个事件的信息。其中P2表示后验概率, P1表示先验概率。比如100个人摸奖,最后只有一人得奖. 假设事件y=前面90个人没摸到,那么,开始模奖时,以=每个人得奖的概率P1=1/100, y发生后,剩下10个人,每个人得奖的概率P2=1/10, 那么y提供的关于剩下10个人中谁得奖的信息就是I=log(P2/P1)=log(10)=3.32比特.

 

显然, 这个公式和Hartley公式是相通的。可以证明,它和Shannon公式也是相通的。

 

2 单个语句信息量计算

 

2.1 两个困难:符合-不符合问题和精确-模糊问题

 

语义信息计算有两个困难。 一是有对错检验问题,也就是语义和客观事实是否符合问题;二是如何处理好语言的精确性和模糊性问题。好的信息公式要保证:1)说对了信息()就多, 说错了信息就少, 甚至是负的; 2)越是精确信息量绝对值越大(如果是错的,负信息量也越大), 越模糊信息量绝对值越小。

 

因为正确描述语句是预测或预言在预测符合事实时的特例,所以我们只考虑一般情况的语义信息――预言信息。

 

假设我们预测最近一个月降水量X,如果你预测是:降水量大概是10毫米,而结果是0 510 15 20…毫米, 那么,好的信息公式应当有怎样的结果呢?对于该具体问题,公式

 

I=m-|X-10|

4

计算出的结果比较符合常识。参看图1。据此,预测误差越大,信息越少,甚至是负的。事实最符合预测时信息量最大, m

 

 

一个特殊情况下的符合常识的信息量计算图解

 

但是,要度量这样的模糊语句“降水量不小于10毫米” 的信息量,这个公式就不行了。要区别模糊语言和不模糊语言的信息量,比如区别“有中到大雨”和“可能有雨”的信息量,这个公式更加不行。

 

23 新的语义信息计算公式及其和Popper科学进化理论的一致性

 

能不能找到更好的信息量计算公式呢? 有,我找到了, 其实很简单:

 

信息量I=log[命题的逻辑概率/谓词的逻辑概率]log[Q(Aj|xi)/Q(Aj)]              

(5)

其中xi是客观事件,Aj事件的模糊集合;其中Q(Aj|xi)是命题yj=xiAj中”的逻辑概率。用不确定的X代替确定的xi, 命题yj(xi)就变成谓词yj() Q(Aj)是谓词yj(∙)的逻辑概率,它是命题的逻辑概率Q(Aj|xi)的平均数:

 

Q(Aj)=∑ P(xi)Q(Aj|xi)   

                                                  (6)

命题的逻辑概率Q(Aj|xi)就是也就是学者们常说的命题的可信度。它就是事件xi在模糊集合Aj中的隶属度。因为我们用可通过语义试验的统计得到该隶属度和可信度(参看附录1),所以我用“逻辑概率”而不用“可信度”。

 

用公式(5)是否会得到和公式(3)类似的结果呢? 可以!图2 计算结果显示,所计算出的信息同样能保证:预测误差越大,信息量越小,甚至是负的。事实最符合预测时,即降水量就是10毫米时,信息量最大。

 

2 单个语句信息量计算图解

 

这个公式不仅能反映预测误差减少信息,还包含了哲学家Popper的知识进化评价准则(包括模糊性减少信息)。

 

3显示的是股市指数预测信息评价,我们也可以把它当作降水量预测信息评价,海啸死亡人数的预测信息评价,石油产量和价格预测信息评价。其中Q(X)表示的是未来不同指数发生的先验概率估计。当前指数是x0, Q(X)往右减小表示先验估计的更大指数发生概率渐小。山型曲线表示命题的逻辑概率。

3 语言模糊性不同、被预测的事件偶然性不同时的预测信息比较

该图表明:1)语言越精确,信息量的绝对值越大,但是因预测错误而减少信息的可能性也越大;语言越模糊,信息的绝对值越小,因犯错误减少信息的可能性也越小; 2)越是把源以为偶然的信息预测对了,信息量越大,反之信息量越小。这正反映了Popper的科学进化信息准则[1]

假设有预言:“股市指数可能涨,也可能跌”, “明天可能有雨也可能无雨”,这时命题的逻辑概率总Q(Aj|xi)总是最大,为1;谓词的逻辑概率也必然是1,所以可以算出信息总是0。这正反映了Popper名言:永真命题不提供任何信息,不是科学命题,因为不可证伪。

(未完待续)



[1] K. R. Popper, 猜想和反驳――科学知识的增长,上海译文出版社,1986