作者:张学文(zhangxw@mail.xj.cninfo.net )
2001年11月公布于 http://entropy.com.cn
2001年2月24日，享年85岁的信息量创始人 C.E.Shannon 申农（香农）辞世（1916-2001）。有的文章称他为伟大的科学家。回顾20世纪的信息革命风暴，想想这个革命的理论基础就是新创立的信息论，把信息论的创始人称为伟大的科学家并不为过。确实，他对人类贡献远远超过了一般的诺贝尔获奖者。
历史证明质量、能量和信息量是三个非常重要的物理量。而如何度量信息的数量问题是在信息论中解决的。
人们很找早就知道用“称”或者“天平”计量物质质量的多少。然而，我们关于热、燃料、能力、活力等等的计量的问题迟至19世纪中叶，随着热功当量的明确和能量守恒定律的明确才清楚起来。“能量”一词就是它们的总称，而计量能量问题也通过“卡、焦耳”等新单位的出现而得到解决。
我们关于图画、文字、数字、声音的知识有几千年了。但是它们的总称是什么？如何统一地计量它们的数量的问题迟至19世纪末还没有正确地提出来，更谈不上如何去解决了。20世纪中期，随着电报、照片，无线电、电话、雷达、电视等等的出现和发展，如何计量讯号中的信息的多少的问题被隐约地提上日程。1928年哈特利（R.V.H.Harley）考虑到从D个彼此不同的符号中取出N个符号并且组成一个“字”（词）的问题。如果各个符号出现的概率相同，如果选取的随机的，就可以得到DN个不同的字。从这些字里取了特定的一个就对应着带来了一个信息量I。哈特利建议用用N LOGD这个数量表示这个信息量，即I=N LOGD 。这里的LOG表示以10为底的对数。
到了1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向了热力学第二定律。但是就讯号（信息）传输给出基本数学模型的核心人物是年仅32岁的申农（C.E.Shannon）。1948年申农的“通讯的数学理论”（The mathematical Theory of communication)，长达数十页的论文，成了信息论正式诞生的里程碑。在他的通讯数学模型中，信息的度量的问题被清楚第地提了出来，他把哈特利的公式扩大到概率不同的情况，得到了著名的计算信息熵的公式：
H=∑-pilogpi
如果计算中的对数（LOG）是以2为底的，那么计算出来的信息熵就以比特（Bit）为单位。今天在电脑和通信中广泛使用的的字节（Byte）、波特、KB、GB等等名词都是从比特（有的含时间）演化而来。“比特”的出现标志着人类知道了如何计量信息量了。申农的信息论为明确什么是信息量概念做了决定性的贡献。
于是在20世纪中叶，人类终于对三个非常重要的概念：质量、能量、信息量都有了定量的计量办法了。
为阐明质量概念做出突出贡献的是发现物质的力学定律的牛顿。
为阐明能量概念做出突出贡献的是热力学第一定律的发现者们（迈耳 J.R.Mayer、焦耳 T.P.Joule、赫尔姆霍兹 H.Helmholtz、开尔文 Lord Kelvin）。
为阐明信息概念做出突出贡献的应当是申农（C.E.Shannon）。
控制论创始人维纳说“信息不是物质”，哲学家说信息与物质的关系是大问题。这些观点妨碍信息论进入物理、化学、生物、社会等这些物质科学领地。某些唯物论者曾经为信息论扣上了“唯心论、伪科学”的帽子。信息论在科学版图和哲学版图中究竟如何定位在今天并没有很好地解决。
20世纪中期随着原子弹（核能）的出现，物理学成为最荣耀的科学学科。在随后的50年里晶体管、人造卫星、集成电路、电脑的飞跃发展无不与物理学知识的应用有关。
但是我们也惊奇第发现这些新技术都是为提高信息的处理能力服务。光荣的物理学忙了半个世纪，终于发现自己仅是给信息科学当仆人。这是物理学的喜剧还是悲剧？
信息量能进入物理学吗？但“信息不是物质”！在物理学的的版图中人们不知道把信息论放到那里合适。人类知识体现的这种新的混乱局面可能要继续下去。
信息论、控制论、系统论等等标新立异的新学科的出现，晃动着古老的科学框架。最后的结局可能到本世纪后期才会明朗一些。到那时申农的某些工作可能被历史遗忘，但是经他阐明的信息概念，连同“比特”这个单位肯定是我们进行科学思维时离不开词汇。