钟义信的全信息理论和鲁晨光的广义信息论

的主要差别

鲁晨光

 

 

钟义信的全信息理论

鲁晨光的广义信息理论

通信模型

模型抽象

模型具体,和Popper的科学进化模型一致

信息分类

1.语法信息 2.语义信息;3.语用信息

1.主观信息或广义信息(和感官分辨率或主观理解有关),包括语义信息和感觉信息

2.客观信息(Shannon信息)—假设分辨率无限高,理解力无限强时得到的主观信息

单个语句的信息量公式。

比如明天股市指数大约会收于xj”的信息量。

 

计算语义信息,语用信息都采用Deluca-Termini公式,公式中没有概率,不考虑语言和事实符合与否;也没区分是单个语句信息还是一系列语句平均信息。

I=log[Q(Aj|xi)/Q(Aj)]=log(命题逻概率/谓词逻辑概率)

信息量图解:

该公式显示了:越是把偶然预测为必然,而且预测正确,信息量就大;预言越是模糊,信息量就越小;谎言或错误预言会减少我们已有的信息。这和Popper理论一致。

 

语句平均信息公式

 

 

广义信息公式仍然采用Shannon公式结构,保留log左边的概率,与Shannon公式不同的是,用主观概率,逻辑概率等替代log后面的概率。考虑语言和事实符合与否。比如广义互信息公式:

Shannon互信息是主观预测和客观事实符合时的特例;一个清晰错误预测负信息很大,大于许多正确预测带来的信息,这正反映了Popper的思想:科学命题不能证实,只能证伪。

广义信息测度编码意义

没有

有,信息仍然表示节省的平均码长

关于语用信息

有一种信息――通过效用u计算出的信息--叫语用信息

用信息传递前后的效用差定义信息价值,围绕信息价值优化通信(而不是计算出语用信息)是研究语用信息的目的。

Shanoon通信优化理论推广

没有

有,比如把信息率失真理论推广为保精度信息率论和保价值信息率论

通信实例检验

没有

有,比如,通过概率预测信息,天气预报信息,股市指数预测信息,色觉信息,温度表提供的信息。。。的计算,通过结果符合常识说明公式合理。

关于感觉信息

没有,谢维信用Deluca-Termini公式度量了,不考虑感官分辨率和概率,结论也是荒谬的,别处详谈。

考虑感官分辨率,提供了分辨率和象素量化等级及主观信息的关系

关于负信息

没有

有,比如谎言提供的信息是负的

作为预测、决策优化准则

讨论过,没看见公式的具体应用

公式有应用实例,比如天气预报优化,股市指数预测优化等