用清晰的思想代替盲目的计算：香农的信息熵

用清晰的思想代替盲目的计算：香农的信息熵

引用

科学网

1.

https://blog.sciencenet.cn/blog-107667-1427605.html

信息熵是信息论中的一个核心概念，由信息论之父克劳德·香农（Claude Elwood Shannon）提出。它不仅在通信领域有着重要应用，更是现代科技领域的重要概念。本文将从香农的求学经历出发，探讨信息熵的定义及其背后的数学思想。

香农的求学经历与启示

香农（Claude Elwood Shannon，1916-04-30 ~ 2001-01-24）的求学经历对中国的工科大学生和研究生很有启发：如果你想成长为杰出的工程师，年轻时多学点数学思想，多读些数学书籍，而不要急于沉湎于琐碎的工程细节。

香农的信息熵

香农并未用上述原理来推导熵公式，而只给出如下“三项基本原则”就本质上确定了熵的漂亮式子。第一项基本原则是：H(1/n, 1/n, …,1/n) 是自然数n的严格递增函数。

第二项基本原则是：如果一个不确定事件分解成几个持续事件，则原先事件的不确定度等于持续事件不确定度的加权和。

剩下的基本原则只属于数学：对固定的自然数n，不确定度函数H是(p1,p2, …,pn) 的连续函数。

用清晰的思想代替盲目的计算

狄利克雷（Peter Gustav Lejeune Dirichlet, 1805-02-13 ~ 1859-05-05）曾说：“用清晰的思想代替盲目的计算。”当初拜读周炯槃院士《信息理论基础》里的信息熵“公理化推导”，感到一阵震撼：原来是从“思想”推导出来的“具体数学公式”！

周老师《信息理论基础》里面的上的数学推导，应该和读丁老师《数学与理工 —— 纪念信息论之父香农诞辰一百周年》里讲的，大体一致。

最大熵概率分布

搜索到（23+1）种可以用最大熵原理（principle of maximum entropy）推导出的概率分布。

参考资料

1. 丁玖. 数学与理工 —— 纪念信息论之父香农诞辰一百周年[J]. 数学文化, 2017, 8(1): 10-19.
2. 周炯槃. 信息理论基础[M]. 北京:人民邮电出版社,1983.
3. 周炯槃, 中国工程院院士

香农最初的贡献可以概括为：①从准公理的观点对信息量做出定义；②研究了在无噪声和有噪声信道中传输离散消息时的信息流量；③建立了信道容量的概念，并阐明了它的实际意义；④建立了某些基本的编码定理；⑤研究了在有噪声情况下传输连续信号时的信息流量。

可以用数学证明，只要H(X)满足下列3个条件：①连续性。②对称性。③可加性。

相关链接：

1. 2024-03-23，[P vs NP，讨论，交作业] 郑波尽老师：P vs NP 的本质，及其研究方法
2. 2024-03-24，[打听，P vs NP] 柯尔莫哥洛夫 Kolmogorov 老师为什么没有研究“ P vs NP”？
3. 2014-03-04，[请教] 相关系数和互信息之间的解析关系
4. 2016-01-04，熵很傻：居然分不清楚“噪声”和“条纹”！
5. 2021-07-27，[苦啊！] 到底为什么“正态分布随机数不能被预报？”
6. 2020-03-26，现实中常见的概率分布