什么是熵？
什么是熵？
熵是一个在物理学、信息论等多个领域都具有重要应用的概念。它既可以描述物理系统的无序程度，也可以衡量信息的不确定性。本文将从热力学和信息论两个角度，深入浅出地解释熵的本质及其性质。
一、热力学中的熵
在热力学中，熵是一个衡量系统无序程度的物理量。熵的增加代表系统的无序性增加，而熵的减少则代表系统的有序性增加。热力学熵的概念可以简单地理解为系统能量的一种度量，它与能量的分布和微观状态的数量有关。
下面我们用一个例子来举例：
假设房间中只有四个空气分子，用不同颜色来标记这四个空气分子。这四个空气分子在房间中可能的情况全部列举如下：
上图中，左边的文字称为“宏观态”，右边的分子分布状态称为“微观态”，比如宏观态“左二右二”，指的是房间左边有两个分子，右边也有两个分子，但是在微观上对应的是六种分子的分布，而总共有16种分子分布，所以宏观态“左二右二”发生的概率为：
根据玻尔兹曼的观点，对于一个由N个微观粒子组成的系统，其熵（S）可以表示为：
S = k * ln(W)
（其中k为玻尔兹曼常数，该常数存在的意义，某种程度上是为了统一各种熵的定义的），而W是系统的微观状态数。
直观得出，熵值是正相关于微观态的个数的
那么微观态个数最大的“左二右二”，也就是熵最大的宏观态。根据熵增原理，其它的宏观态都是不稳定的（熵较小），会自发的变换为“左二右二”。
正如热水和冷水倒入一个容器中，最后温度会相同。
二、信息论中的熵
在信息理论中，熵用于衡量信息的不确定性或随机性，与热力学上的熵本质上是相同的。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。
信息熵的引入：
假设存在一只麦克斯韦恶魔，它能只让处于右半空间的蓝色分子进入左半空间，处于左半空间的红色分子进入右半空间。从而达到新的平衡，在新的状态，熵值为0，因为最后只存在左边只有蓝色分子，右边只有红色分子这种情况。
那么减少的熵去哪里了？
这些熵以信息的形式进入恶魔的大脑中，这些信息包括分子的颜色，运动方向，位置等。当我们认为信息等价于熵时，这个系统的熵并没有减少。
在信息理论中，熵用于衡量随机变量的不确定性。对于一个离散随机变量X，其熵的计算公式为：
H(X) = -Σ(p(x) * log2(p(x)))
其中，H(X)表示X的熵，p(x)表示随机变量X取值为x的概率，log2表示以2为底的对数。
三、信息熵的性质
熵的性质主要包括以下几点：
- 非负性：熵的值总是非负的，即H(X) ≥ 0。
- 确定性：当随机变量X的取值完全确定时，熵为0。
- 对称性：熵的计算与随机变量的具体取值无关，只与概率分布有关。
- 可加性：两个独立随机变量的联合熵等于各自熵的和。
这些性质使得熵成为衡量信息不确定性的理想工具。在实际应用中，熵的概念被广泛应用于数据压缩、密码学、机器学习等领域。
本文原文来自CSDN，参考博客：“熵”详细学习笔记——什么是熵？有什么性质？联合熵等其他熵的作用_熵的特征变量是什么_yiyayiya980624的博客-CSDN博客