从信息论看知识进化――兼批休谟的不可知论
休谟发现，通过理性，我们无论如何也不能从前后事件相继发生得出必然因果关系，比如：不能从每天太阳从东边出，断言今后太阳一定从东边出。
马克思主义认为：普遍必然因果关系是可以认识的，但是又是不可穷尽的；人类认识总是不断地由相对真理走向绝对真理；促使认识进步的是实践。通过实践， 人类排除错误认识，保留和发展正确认识，从而使知识不断进步。
逻辑经验主义试图借助逻辑概率，说明知识进步。比如说，一个命题被证实的频率越大，其真的程度就越高，知识就越进步。而波普尔相反，认为知识的进步不在于证实，而在于证伪，或者说排错；他强调，通过证实得到普遍必然规律，这正是休谟所否定的。
关于知识或科学理论的进化模式,波普尔认为， 科学理论起于问题，为了解决问题人们提出假设，理论即假设； 假设受到事实检验；如果根据假设所作的预测与事实相符， 就说它通过了检验并在某种程度上得到确证；如果与事实不符， 它就被证伪了；于是人们又寻求新的更加经得起检验的假说或理论；如此往复，以至科学进化。这种进化和生物进化是类似的。
关于科学理论和非科学理论的分界标准波普尔认为：这就在于理论能否被证伪； 如果理论并不预言任何事件的发生有什么不同，则它就是逻辑上不可证伪的，因而也就是非科学的； 比如上帝存在说和佛洛依德的精神分析理论不可证伪，因而是非科学的。
波普尔在相当程度上继承了马克思主义的认识进化观点。其证伪说就很类似于实践检验说。但是波普尔观点中也有马克思主义认识论中所没有的，其信息标准就是。关于科学理论的进步标准，波普尔认为【30】：
(1)
根据理论所作的预测和解释越是与事实或已有知识背景符合越好。(2)理论预期的结果越是出乎常识预料越好。(3)预言或命题的逻辑概率越小越好(比如"明天下大雨"和"明天下雨"相比，前者逻辑概率小，价值高，如果它们都和事实相符的话)。(2)
和(3)都意味着检验越严峻越好。波普尔实际上也就是用信息作为科学理论的分界和进步标准的，他曾明确地说：
“凡是包含更大量的经验信息或内容的理论，也即在逻辑上更有力的理论，凡是具有更大的解释力和预测力的理论，从而可以通过把所预测的事实同观察加以比较而经得起更严格检验的理论，就更为可取。总之，我们宁取一种有趣、大胆、信息丰富的理论，而不取一种平庸的理论。”【
30】我在
10年前写的《广义信息论》中提出了一个和波普尔理论一致，并且可以量化处理语言信息的广义通信模型，参看图20。
图
20 兼容波普尔理论的广义通信模型广义通信模型充分体现了这样的思想：信息来自预测, 信息的多少需要事实检验; 越是把主观原以为偶然的事件预测为必然并且预测正确, 信息就越多, 否则信息就越少甚至为负值。根据这种思想，最一般的信息是预言信息，其他信息都是预言信息的特例。
我们以数天内降水量预报为例说明该模型：X是取值为x1,x2,…的变量，表示客观事件，Z表示气象数据，K为气象知识或理论；QK(X|Z)为气象台预测的各种降水量可能性分布（即概率预报）。Y是取值为y1,y2,…的变量, 表示语句, 比如“有小雨”, “有大雨”; Q(X|Y为真)是听众根据语义推出的降水量可能性分布。Q(X)是听众事先根据经验估计的降水量的可能性分布。 检验知识K和预言Y的方法是看Q(X|Y为真)和Q(X)哪一个更与P(X|Y)相符, 若前者更加相符, 则预言有正的价值, 若后者更加相符, 预言有不如无。气象台为了提供更多的信息， 于是就一再改进理论或推理方法，试图作出更正确且更精确的预报。如此反复，使预报和事实趋于一致。不光天气预报如此，疾病诊断如此，经济预测如此，各门科学知识的获得和进化也都如此。我得到的语言
(预言或命题)的信息公式非常简单，但是解释力却很强。这一公式是：事件xi发生时，命题yj提供的信息量是：
其中
上述信息量公式表明，先验逻辑概率越小，后验逻辑概略越大，则信息量越大。注意：这一公式和经典信息论中
的含义是大不一样的。经典理论中信息是没有检验概念的。我们上面的公式只有再
xi确实相对yj发生时，信息才是如此。通过集合
Bayes公式(【13】,34页)可以推导出，这一信息也可以写成
它表明，越是把原以为偶然的事件预测为必然，而且预测对了，则信息量越大。
yj
提供的关于X的平均信息是广义Kullback信息
其中
P(xi|yj)是客观概率，反映了事实检验；可以证明，Q(xi|yj)为真)和P(xi|yj)两个函数曲线重合时信息量最大。 而在经典信息论中，这一公式是
这里总是假设预测和实际符合，从而不含有检验概念。
假设
xi是降水量，销售量，温度或股市指数，yj是预言：“xi 大约会是xj”，则预言yj的信息量随实际发生的事件xi的变化如图21所示。
图21 预言yj的信息量随实际发生的事件xi的变化
它说明：
1
〕xi越接近xj时，信息量越大，反之越小，甚至是负的；这是说预测要符合事实才好。2)
谓词yj的逻辑概率越小(水平线越低)，信息量的绝对值越大。3)
当yj的逻辑概率总是最大(比如yj=“股市指数是正的”)，等于1时，命题的逻辑概率也必然是1，则信息量等于0。这正是不可证伪命题的信息量。从波普尔理论和广义信息论的角度看，科学理论的价值就在它提供信息，知识的进步就它提高人类预测自然，进而改造自然的能力（如马克思主义认识论所说）。比如牛顿力学使人类更准确地预测天体、火箭、卫星
…的运行轨迹，更方便地利用自然改造自然。笔者建立的广义信息论和波普尔理论稍有不同的地方是，波普尔重点讨论普遍必然规律，强调一个反例就证伪理论。而广义信息论讨论或然规律，并且假设任何必然物理事件都是更小范围内的随机事件
(可以通过仪器分辨率度量信息)。所以广义信息论有更广的适应范围。现在我们来看休谟的不可知论。休谟因为理性不能由归纳得出普遍必然因果关系就对理性感到失望，就认为知识不可靠，规律不可知，这是由于采用了不适当的评价人类理性的标准。实际上，人类理性的价值在于不断提高预测自然的能力，而不是得到正确可靠命题。他没注意，猜想也是有价值的。
我觉得列宁对康德不可知论的批判更加适合休谟的不可知论。列宁说，当人类利用科学知识成功地改造自然，使之为我所用的时候，康德不可知论以及他的自在之物――物自体――也就完了。我们可以说：当人类利用科学知识成功地改造自然，使之为我所用的时候，休谟怀疑人类理性的怀疑论也就完了。人类利用自然改造自然的结果如同理性预测，你还怀疑什么？