张学文 zhangxw@mail.xj.cninfo.net
|
§18.1正态分布 |
2002.01 |
一切科学的伟大目标，即要从尽可能少的假说或者公理出发，通过逻辑的演绎，概括尽可能多的经验事实。--爱因斯坦 |
|
§18.2对数正态分布 |
2002.01 |
|
|
§18.3GAMMA分布 |
2002.02 | |
|
§18.4 |
||
|
§18.5 |
||
|
§18.6 |
||
|
§18.7 |
||
|
§18.8 |
||
|
§18.小结 |
本章继续利用最复杂原理和不同的约束条件的配合求出不同的概率分布函数。它们包括：正态分布、对数正态、伽玛分布（Gamma）、瑞利分布、威伯分布、极值分布、Beta分布、Logistic分布。
§18.1正态分布
连续的随机变量x的概率密度分布函数f(x)如果服从
（18.1）
关系，就说该变量遵守正态分布（也称为高斯分布）。这里a和σ分别是该变量的平均值和标准差。正态分布最早由数学家高斯得到，它广泛适合观测的误差等很多种场合。这个分布可以从某种合理的假设出发而推导出来，所以被认为是理论依据比较充分的概率分布。20世纪科技界流行的一种观点就是自然现象似乎都应当符合正态分布，很多理论工作也是在正态分布的假设上形成的。这些工作提高了正态分布的地位。人们对正态分布的重视也导致对其他的分布函数的忽视。这种观点与丰富的自然现象不符。
这里我们利用最复杂原理配合对应的约束条件推导出正态分布公式（18.1）。
一个连续变量x的概率密度分布函数是f(x)，那么这个函数的积分应当等于1（变量出现各种值的概率的合积值为1—必然事件），
(18.2)
如果该随机变量的标准差必须为一个固定值σ，即
（18.3）
承认变量仅受上面的约束条件（没有更多的），并且承认变量出现什么值有随机性，在这些约束下的随机性最大也就是变量对应的复杂程度或者说信息熵最大，即∫-f(x)ln f(x)dx 应当最大。利用拉哥朗日方法构造一个新函数F
F=∫-f(x)ln f(x)dx+C1[∫f(x)dx-1]+C2[∫(x-a)2f(x)dx-σ2]
以上积分应当遍及变量x的一切可能值（从负无穷大积分到正无穷大）。复杂程度最大就是要求函数F对f的变分为零，有
我们得到
-lnf(x)-1+ C1+ C2(x-a)2=0
f(x)=exp(-1+ C1)exp[C2(x-a)2] （18.4）
这个公式已经与正态分布公式具有相同的外型了。利用关系（18.2）、（18.3）可以把（18.4）中的待定常数C1、 C2确定出来。借助定积分表，得到的分布函数恰好是最初给的（18.1）式。这样就利用最复杂原理（最大信息熵）和标准差为常数的限制得到了正态分布函数公式。它意味着对于确定的标准差，随机变量可以有很多种分布函数，但是复杂程度最大（信息熵最大）的分布函数只可能是正态分布。
于是我们从最复杂原理推导出来了正态分布公式。
公式中的平均值为a，它的含义自然是
（18.5）
请注意，在推导公式时公式（18.5）并没有作为约束条件出现。这与负指数分布的推导时把它作为约束条件是不同的。
与（18.1）公式对应的正态分布见于图18.1中。
图18.1正态分布函数
对应二元正态分布也有类似的结果。如果f(x,y)是一个二元的概率密度分布函数，即
（18.6）
它对于变量x，y的标准差分别为固定值σx ,σy ，即
（18.7）
（18.8）
上面的a,b分别是x,y的平均值。而x,y的相关矩ε
（18.9）
也是固定值（等价于相关系数固定）。
那么复杂程度最大时的随机变量的概率密度分布函数也可以利用拉哥朗日方法求得。它就是经常遇到的二元的正态分布公式：
，ρ≠1，（18.10）
这里的ρ是变量的相关系数，它与相关矩ε的关系是
ρ=ε/(σxσy) （18.11）
这样，形成二元的正态分布所依赖的约束条件和原理（最复杂原理）我们也清楚了（说明：具体推算过程是1995年由马力同志完成的，因为比较繁这里没有列出）。
关于正态分布的应用事例在很多书籍都有介绍，这里就不必再重复了。
本节说明著名的正态（高斯）分布也是最复杂原理（信息熵最大）的一个应用特例。