（7.5）
§
8.3复杂程度与信息熵上一章得到了一个广义集合的内部状态的复杂程度的公式是
依照概率的古典定义，如果在
N个个体中有某标志值的个体有ni个，那么从总体中任抽一个，该标志值的出现概率pi就是ni/N 。即有pi = ni/N
把这个关系带入复杂程度公式
（7.5），并且注意到信息熵公式（8.2）我们得到C=NH （8.4）
这个公式说明
| 从广义集合引出的的N 个个体的复杂程度与信息论中引入的一次抽样时结局的（不确定性）信息熵是成正比例关系的两个物理量，其比例系数是个体总数N 。 |
明确了复杂程度与信息熵的这个重要关系，也就把前面七章介绍的知识与知名度很高的“信息”连到一起了。复杂程度不再是知识领域的孤岛。
复杂程度与信息熵的对应关系说明，随机抽样（注意是一次）时之所以有这么大的不确定程度（信息熵）是因为客观存在一个广义集合（抽样的母体）有这么大的复杂程度。
20
世纪中叶以来我们已经知道很多关于信息熵的知识。利用这种关系，这些知识都可以用到复杂程度上，所以复杂程度概念轻易地吸收了信息熵的大量知识。反过来看复杂程度与信息熵关系的明确也为认识信息熵提供了一个物理意义清楚的新思路。信息熵是对客观事物进行从随机试验的角度分析了结局的不确定性（信息熵）。复杂程度是从客观事物的内在差异性（各个个体的标志值不尽相同）的角度分析了客观事物本身状态的丰富程度。它们的视角是有差别但是依据的主体却相同。信息熵更接近通讯模型，复杂程度更注重客观事物本身。我们没有批判信息论是唯心论，但是说广义集合符合唯物论，人们更容易理解。
影子不是物质，但它是物质的一种映射；信息（熵）不是物质，但它是物质的复杂程度的映射。公式中的比例系数就是这个广义集合的个体数量
N 。我们记得信息熵的公式计算出来的值的物理意义是对总体做一次（不是两次或者很多次）随机抽样实验时结果的不确定性。而关于复杂程度的含义总是面对由N个个体组成的总体的。所以公式（8.4）中有一个比例系数是个体的总量N 是自然的，合理的。由于个体的个数是个无因次的量，公式
（8.4）也说明复杂程度的单位应当与信息熵的单位相同。正是因为有这种关系存在，我们在复杂程度计量中才用信息熵的（例如比特等）单位表示复杂程度。另外，把关于连续变量的复杂程度公式
（7.7）带入信息熵公式（8.3），同样得到公式（8.4）。这说明公式（8.4）对连续变量也适用。§
8.4熵函数的一些性质8.4.1
信息熵没有负值在上一章（见
7.2.2节）介绍了复杂程度没有负值以及复杂程度的值与标志值本身的值没有关系。由于复杂程度与信息熵的对应关系，所以信息熵也没有负值而且也与随机变量（对应于标志值）的具体值没有关系。复杂程度的简化公式是NlogN ，对应地，在信息熵方面的简化公式是logN 。它适用于每个结局出现的概率相等的情况。8.4.2
信息熵有最大值信息熵公式
（8.2）说明熵的值是各个概率值的函数。信息论中还证明当各个概率的值都相同时，信息熵的值最大。此时公式退化为logN 。所以logN 就是有N 个不同的抽样结局时信息熵的最大（应当称为极大）值。8.4.3
信息熵有可加性信息熵有可加性是指不同含义的的信息熵的相加的规则。例如某地把天气分成晴、多云、雨，如果再把雨天分成微雨到大雨时不同的信息熵是什么关系。
设某地晴、多云和雨天的出现概率满足下表
表（
8.2）不同天气的出现概率天气 |
晴 |
多云 |
雨 |
概率 |
0.5 |
0.3 |
0.2 |
利用信息熵公式可以求得天气的信息熵H1为
H1=-0.5log0.5-0.3log0.3-0.2log0.2=1.4854
如果把雨天再分成微雨到大雨四种，并且知道它们的出现概率为表（
8.3）的的第二行表（
8.3）不同雨量的出现概率雨量 |
微雨 |
小雨 |
中雨 |
大雨 |
出现概率 |
0.1 |
0.05 |
0.03 |
0.02 |
条件概率 |
0.5 |
0.25 |
0.15 |
0.1 |
表中第二行是雨天的出现概率（0.2）又被细分成不同的雨情时它们各自对应的出现概率。第三行表示在肯定下雨时各种雨的出现概率（也称为条件概率），它是上一行的值被雨天出现概率0.2除而得到的。利用第三行带入信息熵公式，可以求得雨天时不同雨量的信息熵H2为
H2=-0.5log0.5-0.25log0.25-0.15log0.15-0.1log0.1=1.7427
如果把直接把雨天分成四种，那么天气就有六种情况，显然有表（
8.4）
表（
8.4）细分以后的天气与出现概率天气 |
晴 |
多云 |
微雨 |
小雨 |
中雨 |
大雨 |
概率 |
0.5 |
0.3 |
0.1 |
0.05 |
0.03 |
0.02 |
六种天气的信息熵H3可以用同样的公式计算出
H3=-0.5log0.5-0.3log0.3-0.1log0.1-0.05log0.05-0.03log0.03-0.02log0.02
H3=1.8340
问把天气分成六种情况时的信息熵与分成三种情况，以及雨天的信息熵之间有什么关系？我们发现
H3恰好是H1加上H2乘以雨天的出现概率0.2，即1.8340=1.4854+02×1.7427
写成公式是
H3=H1+0.2 H2 ，它的一般化公式是H3= H1+P H2 （8.5）
这就是信息熵的可加性的一般公式。它表示一次抽样实验结局的不确定性如果是
H1 ，当把出现概率为P 的事件再细分成若干个事件时，新的抽样实验的结局的不确定性H3 由公式（8.5）计算，其中H2是概率P 对应的事件已经出现时的信息熵（细分成各种事件对应的不确定性，也称为条件信息熵）。利用信息熵公式，可以直接推出这个公式来。