§12. 9 再谈最复杂原理

应用拉格朗日方法解决最复杂原理的一般方法已经做了介绍，它的具体应用在第三篇介绍。在那里每个事例几乎都与本章给出的利用最复杂原理得到的分布函数的通解，即(12.7)式的f (x)=exp[-1+∑C_iu_i(x)]，有关。或者说后面只要利用了这个通解，也就是利用了最复杂原理（最大熵原理）。

在第11章曾经给出有随机性的各个广义集合的出现概率P与复杂程度C 有下面的关系：

lnP=C+n₁lnp₁+n₂lnp₂+…+ n_klnp_k （11.9a）

（11.9b）

把公式（11.9b）推广到连续变量的场合，它应当是

lnP=C +∫f(x)lnp(x)dx （12.12）

上述积分遍及自变量的一切可能去值。p(x)是各个x值的出现概率（实为相对概率密度分布函数），它也称为先验概率。f(x)是实际抽样具体得到的分布函数（也是相对密度分布函数）它对应于后验概率。而大写的P是该种f(x)出现的概率。这个公式同样给出了不同的分布函数f(x)的出现概率P与复杂程度和一个积分的关系。它与离散公式的精神是一致的。

对于积分∫f(x)lnp(x)dx，其p(x)是已知函数，而在复杂程度最大时，f(x)也是明确（唯一）的函数，所以其积分为一个固定的数值。根据前面对拉格朗日方法中的公式（12.5），

F=-∫f(x)ln[f(x)]dx +∑C_i(∫u_i(x)f(x)dx -k_i) （12.5）

如果拉格朗日方法中的一个u(x)=lnp(x),那么就可以把它合并到求F极大值时的约束条件里面去。这体现了在拉格朗日方法面前，利用“复杂程度最大”求分布函数与利用“出现概率最大”求分布函数应当是一个结局。从这里我们看到复杂程度最大与概率最大的等价性、看来了最复杂原理的概率依据、还看到了复杂程度最大要与约束条件一并应用。　

利用复杂程度定义公式，还可以把（12.12）写为　

（12.13）

即在已知先验概率分布为p(x)的情况下（对应一个约束条件），抽样得到的分布函数为f(x) 的出现概率P应当满足这个公式。有时人们把上式右侧的式子称为条件熵，我们也可以称它为条件复杂程度。但是为了避免引入的新名词过多，我们后面在更多的场合还是称它为复杂程度。

但是，从这里我们也看到把最复杂原理理解为条件复杂程度最大要妥切一些。因为它不仅与概率的对数是线性关系（我们在11章的用语）而且是正比例关系（比线性关系更简单，没有直线方程中的常数项）。　

	上一章证明最复杂原理是正确的，还定性说明最复杂原理有大量的应用事例；为了定量应用最复杂原理，本章提出了应用最复杂原理反求分布函数问题。由于各种广义集合有各种不同的分布函数，找到一种在很多场合都可以应用的求分布函数的一般方法就有重大价值。
	现在的目标是找一种未知函数（过去人们做习题，其目标大多是找一个“数”）。看来问题比较特殊，为此介绍了泛函数概念。而解泛函数的极值问题的答案就可以得到一个函数。结合我们的问题，复杂程度就是分布函数的泛函数，复杂程度极大（即最复杂原理）是一个真理，利用复杂程度（泛函数）极大就可以求得一个对应的函数，它恰好是我们求的分布函数。即用最复杂原理求分布函数问题归结为解泛函数的极值问题。
	利用泛函数达到极值求得它对应的函数的一般方法是拉格朗日方法。为此，追述了求极值问题的一般思路和步骤，进而介绍了这个方法。用拉格朗日方法求解的一个重要的优点是它允许针对问题补充一些新的约束条件。这为以后针对不同约束条件从而得到不同的分布函数提供了统一的求解技术。
	对拉格朗日方法的介绍是由浅入深逐步进行的，我们得到了利用最复杂原理求解分布函数问题的通解，即公式（12.7），也给了对应的例子。针对连续变量的斩乱麻的例子，它简单但是物理含义清楚。我们还给出了在电脑上用数值实验验证它的办法。这使我们对最复杂原理更加相信。斩乱麻的例子在第三篇还有大量的应用。第三篇要更广泛地直接应用公式（12.7）这个通解，那时不再重复它在本章的证明过程。
	拉格朗日方法对约束条件的灵活性还帮助我们看到最复杂原理里面的“复杂程度”一词既可以理解为一般的复杂程度，也可以理解为在特定条件下的条件复杂程度。条件复杂程度是信息论中的条件概率分布计算出来的条件熵的对应词汇。为了节约思维劳动，我们避免引入过多的概念。后面将尽量不用这个新词。
	在牛顿力学指出自然界的机械运动有很多种，但是它们都是牛顿的第二定律与不同的初始条件和边界条件配合下的具体的特殊的运动规律--如运动轨迹。学习了拉格朗日方法我们看到（或者将要看到）最复杂原理与不同的约束条件相结合就得到了不同的具体的特殊的分布函数。我们看到了最复杂原理与牛顿力学有类似的地位与作用。

---- 第十二章结束，去第十三章，去十二章首 ----