钟义信的信息差公式经得起检验吗?

 

在最近的北师大的《信息科学和交叉研究研讨会》上。钟义信针对我的文章《钟义信的全信息公式有意义吗?》, 说,我应该用它的信息差公式检验。

其实多少年前我就知道他的光明日报出版社出版的那本书上的信息差公式。那是同样经不起检验的。 我问:你自己检验过吗? 回答:我没有检验,但是不等于不能检验。好, 我现在就不厌其烦再检验一次他的信息差公式。

I(T,T*;R)=I(T*)-I(T)    (1)

后一个语句提供的信息I(T*)(也就是I(T*,X))相对前一个语句提供的信息I(T)的增量是I(T,T*;R)

实际上,I(T)I(T*)就已经是模糊熵差了, 因为

I(T)=最大可能模糊熵-模糊熵=log2-F(A)    (2)

 

I(T,T*;R)代替I(T*)其实是用I(T)代替log2---用任意一个模糊代替最大可能模糊熵,作为先验模糊熵。如此算出的I(T,T*;R)可能是正的,也可能是负,在-log2log2之间。 而原先的I(T)一定是正的, 在0log2之间。 负信息这里表示语言清晰变为模糊时,信息增量是负的。这不是问题。

 

问题是,关于I(T)的那些问题还是存在,比如:

1)  按照常识,预测错了,信息就少,甚至是负的。而按钟的公式,  信息量大小和哪一个xi实际发生无关。只要后一个语句是清晰的,前一个语句是模糊的, 信息就是正的,不管预测得对不对。

2  按照常识或Popper的科学进步理论, 把一个越是偶然或特殊的事件预测对了,信息就越多。比如“明天有特大暴雨”提供的信息就比明天有雨“提供的信息多,如果两者都是对的。而按钟的公式, 信息和预测的精度无关,只和模糊性减少的幅度有关。

3)      假设有一个极为模糊语句,其可信度恒等于0.5, 一个永真命题,比如明天可能有雨也可能无雨,其可信度恒等于1,按照钟义信的公式,前一个模糊最大, 后一个语句模糊熵为0。按照常识, 两个语句信息都是0, 信息差也是0。 可是按照钟义信的公式,先说模糊语句后说永真语句,信息量最大,log2; 说的次序反过来,信息最小,为-log2. 这合理吗?

4)      按钟义信的公式,最大语义信息只有log2=1比特。这是不合理的。我们用Hartley公式粗略地计算, “特大暴雨”的信息I=log(总天数/特大暴雨天数)也不止2比特。一个好的广义信息公式应该和经典信息公式兼容,这在钟义信那里完全做不到。

 

 

附邮件对话:

 

钟:

  如果说不到一起,不妨先搁置。

 

======== 2005-11-13 16:11:52 You wrote in the mail ========

 

钟:

 

在郊区接连开了三天“高校教材‘十一五’规划会”,今天回来,看到了你的邮件。简要回复如下。

 

我曾经对你说,你的文章表明,你有两个问题没有搞清楚,要重新思考。

第一,对于预测的应用来说,应当使用的不是“自有信息量”公式,而应当是“实得信息量”(即通过观察所新增的信息量)公式。在“自有信息量”公式上作预测分析,就像牛头不对马嘴。这个道理很显然,你稍微想想就会明白。

 

鲁:

我分析了你的新增信息量公式, 它照样有问题。 这个网页你没有看?

http://survivor99.com/lcg/books/GIT/zyx/zyx2.htm

 

 

第二,当你用预测的例子来套“实得信息量”公式的时候,应当注意:与“不知道明天是晴天还是下雨”相应的肯定度分布是{0.50.5};而与“明天不是晴天就是下雨”相应的肯定度分布也是{0.50.5};而不是你认为的{10}{01},更不是{11}。如果你注意到了这一点,你所谓的问题便都迎刃而解了。

 

鲁:

因为“明天天晴或明天下雨”=“明天天晴”或“明天下雨”

后两个语句的逻辑概率是01 它们的逻辑加也是01 而不会是0.5

无论如何,怎会有逻辑真值不是0就是1的语句,用这样的语句,你的公式就不合适,因为你用的测度是模糊测度,这里永真废话和其他清晰有意义预测等价。

 

至于你今天所说的“如果预测错了,应当得到负的信息量”。这是合理的。为此可以在原来的公式基础上补上一项就可以做到,比如:

 

 ,  (取大于零小于1的值);

           =  logN sgnf(),      (只取数值0或者1)。

 

 

鲁:

一般情况下,t*n,tn的变化区间是[0,1], 你上面假设的区间只是两个特例。比如明天有小雨逻辑真值随降水量变化, 可能是00.5 1 0.5 0.9。。。。。。

 

应该能由你的公式推导出第二项,而不能补充。你补充的公式,和原来的公式之间没有连续性,也不合适模糊语言,比如明天有小雨这样的预测。随着实际降雨量变化,信息量应该随x的变化渐渐变化,而不是从一个极端跳到另一个极端。你的公式问题在于没法涵盖事实检验

 

 

其中: 是真值为1的后验状态(或其代码),是真值为1的先验状态;

函数 sgnf(x) = 2- 1, 即有

sgnf(x) = 1,  x = 0

              = -1,  x ¹ 0

 

 

    至于你文章中提到的其它问题,在明白了上述各点之后,就会不言自明了。

当然,《信息科学原理》提供的全信息测度方法不一定是最好的解决方法,但却不失一种可行的方法。我相信人们会不断发展出越来越好的测度方法。这是科学进步的正常现象。

 

 

 

----- Original Message -----

From: Prof. Y. X. ZHONG

To: lcg

Sent: Saturday, November 12, 2005 10:29 PM

Subject: Re: 你的信息差公式检验

 

晨光,

 

        请见附件。

 

  

 

======== 2005-11-10 21:10:15 You wrote in the mail ========

 

 

http://survivor99.com/lcg/books/GIT/zyx/zyx2.htm

钟义信教授:

 

你的大度令我佩服。 但是,我觉得你对你的全信息公式辩护是无力的。参看连接短文。 如果我说错了, 你指出,我修改。

 

通过这次会议, 我倒是觉得你的两种信息划分倒是具有实际意义--虽然我不完全赞成你的信息定义。

 

...

 

 

鲁晨光

 

= = = = = = = = = = = = = = = = = = = = = =

Best regards,

 

Prof. Y. X. Zhong (钟义信)

Center for Intelligence Research

University of Posts & Telecommunications,

Beijing 100876, China

 

yxzhong@ieee.org

2005-11-12