信息量与信息熵（从信息论角度）

信息量与信息熵（从信息论角度）

引用

CSDN

1.

https://blog.csdn.net/2301_80118595/article/details/146134635

从香农信息论的角度，结合数学公式与图像，解释信息量与信息熵的定义，为更好地理解信息、信号作准备。

1. 信息量（Self-Information）

• 定义：事件x发生所含的信息量，定义为：
  $$
  I(x) = -\log_2 p(x)
  $$
  其中$p(x)$是事件$x$发生的概率。

• 性质：

• 概率越低的事件，信息量越大（如$p(x) \to 0$时，$I(x) \to +\infty$）。

• 单位是比特（bit，底数为2时）。

2. 信息熵（Entropy）

• 定义：离散随机变量X的熵，表示其不确定性的平均值：
  $$
  H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x)
  $$
  其中$\mathcal{X}$是X的取值集合。

• 性质：

• 熵越大，系统的不确定性越高。

• 当所有事件等概率时，熵达到最大值（如二元熵在$p=0.5$时$H=1$）。

MATLAB 图像绘制代码

%% 信息量曲线（I(p) = -log2(p)）
p = 0.01:0.01:1;      % 避免p=0导致无穷大
I = -log2(p);
figure;
scatter(0.5,1)
plot(p, I, 'LineWidth', 2);
hold on;
plot(0.5, 1, 'bo');
text(0.5,1,['(',num2str(0.5),',',num2str(1),')']);
hold on;
xlabel('概率 p');
ylabel('信息量 I(p) (bit)');
title('信息量 vs 概率');
grid on;

%% 二元信息熵曲线（H(p) = -p log2 p - (1-p) log2(1-p)）
p = 0:0.01:1;
H = -p .* log2(p + eps) - (1 - p) .* log2(1 - p + eps); % 避免log(0)
figure;
plot(p, H, 'b', 'LineWidth', 2);
xlabel('概率 p');
ylabel('熵 H(p) (bit)');
title('二元信息熵 vs 概率');
grid on;

图像说明

1. 信息量曲线：

• 单调递减函数，当$p \to 0$时，信息量趋近于无穷大。
• 当$p=1$时，信息量为0（必然事件无信息量）；$p=0.5$时信息量刚好为1bit。

2. 信息熵曲线：

• 对称的凸函数，在$p=0.5$时取得最大值1 bit。
• 当$p=0$或$p=1$时，熵为0（确定性系统无不确定性）。