机器学习中的熵：从定义到应用

机器学习中的熵：从定义到应用

引用

CSDN

1.

https://m.blog.csdn.net/Wei_sx/article/details/144624228

熵是信息论中的一个核心概念，用于量化信息的不确定性。它可以帮助描述数据集中信息的复杂程度和随机性。本文将详细介绍熵的定义、性质及其在不同领域的应用，特别是机器学习中的应用。

1. 熵的定义

熵（Entropy）是一个度量随机变量不确定性的指标。对于给定的离散随机变量

，如果
有
个可能的取值
和相应的概率分布
，熵
定义为：

2. 组成部分

2.1 概率

：
随机变量
取值
的概率，满足
。

2.2 对数

熵通常使用底为 2 的对数，这样熵的单位为比特（bits），表示每个取值所包含的信息量。

3. 熵的性质

3.1 范围

熵的值总是非负的（即
）。当随机变量完全确定（即熵为零，意味着没有不确定性）时，熵取值为 0。

3.2 均匀分布

当所有可能的取值均匀分布时（每个
），熵达到最大值。此时，熵越大，表示不确定性越高。

提示：系统越有序，熵值越低；系统越混乱或者分散，熵值越高

4. 熵的应用

熵在多个领域有广泛的应用，例如：

• 信息论：衡量信息的内容和传递的有效性。
• 机器学习：在决策树中用于特征选择，通过比较不同特征的熵减少量（即信息增益）来选择最能减少不确定性的特征。
• 数据压缩：在数据压缩算法中，熵用于计算最优编码的长度。

5. 示例计算

假设有一个离散随机变量
，取值为
，其概率分布为
。则熵
的计算如下：

计算出每项的值：

所以：

6. 总结

熵是一个基本概念，在数据分析、机器学习、信息传递等领域中都起着重要的作用，它帮助我们理解和量化不确定性。