切比雪夫不等式（Chebyshev's Inequality）详解

切比雪夫不等式（Chebyshev's Inequality）详解

引用

CSDN

1.

https://blog.csdn.net/AdamCY888/article/details/144333504

切比雪夫不等式（Chebyshev's Inequality）

切比雪夫不等式是概率论中的一个基本不等式，用于估计随机变量偏离其期望值一定范围的概率。它对于任何具有有限期望和有限方差的随机变量都成立。

公式表达

切比雪夫不等式的基本形式如下：

$$
P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}, \quad \text{其中 } k > 0.
$$

其中：

• $X$：随机变量
• $\mu = \mathbb{E}[X]$：随机变量的期望
• $\sigma^2 = \text{Var}(X) = \mathbb{E}[(X - \mu)^2]$：随机变量的方差
• $\sigma = \sqrt{\text{Var}(X)}$：标准差
• $k$：任意正实数，表示偏离标准差的倍数

解释

1. 不等式意义：切比雪夫不等式表示随机变量 $X$ 偏离其期望值 $\mu$ 至少 $k\sigma$ 的概率不会超过 $\frac{1}{k^2}$。也就是说，随着 $k$ 增大，随机变量偏离期望值的概率迅速减少。

2. 适用条件：切比雪夫不等式适用于任何随机变量 $X$，只要其期望值和方差有限。它对分布形状没有要求，因此适用于非对称分布或长尾分布等。

推导过程

切比雪夫不等式基于马尔可夫不等式：

$$
P(Y \geq a) \leq \frac{\mathbb{E}[Y]}{a}, \quad \text{其中 } a > 0, Y \geq 0.
$$

通过定义 $Y = (X - \mu)^2$ 并代入马尔可夫不等式：

1. 定义：随机变量的偏差平方为 $Y = (X - \mu)^2$，因此 $Y \geq 0$，且 $\mathbb{E}[Y] = \text{Var}(X) = \sigma^2$。
2. 应用马尔可夫不等式：

$$
P((X - \mu)^2 \geq k^2\sigma^2) \leq \frac{\mathbb{E}[(X - \mu)^2]}{k^2\sigma^2}.
$$

3. 简化右边的分母：

$$
P((X - \mu)^2 \geq k^2\sigma^2) \leq \frac{\sigma^2}{k^2\sigma^2} = \frac{1}{k^2}.
$$

4. 注意到 $(X - \mu)^2 \geq k^2\sigma^2 \iff |X - \mu| \geq k\sigma$，因此：

$$
P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}.
$$

应用举例

1. 质量控制：在工业生产中，用切比雪夫不等式估计产品参数偏离标准值一定范围的概率。
2. 数据分析：对于缺乏分布信息的随机变量，切比雪夫不等式提供了一个分布无关的概率界限。
3. 金融领域：用于估算金融资产回报率偏离期望值的概率。

直观理解

切比雪夫不等式的保守性体现在其仅利用方差和期望的信息，而不依赖分布的形状。例如：

• $k = 2$：表示偏离期望值至少2个标准差的概率不会超过 $\frac{1}{4} = 25%$。
• $k = 3$：表示偏离期望值至少3个标准差的概率不会超过 $\frac{1}{9} \approx 11.1%$。

切比雪夫不等式保证了对极端值概率的一个上界，但这个界限通常较为宽松。

切比雪夫不等式有多种通用形式，适用于不同的随机变量表达方式。以下是几种常见形式：

1. 标准形式（经典形式）

$$
P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}, \quad k > 0.
$$

其中：

• $\mu = \mathbb{E}[X]$：随机变量的期望
• $\sigma^2 = \text{Var}(X)$：随机变量的方差
• $k$：偏离标准差的倍数

这是最常用的切比雪夫不等式形式，表明随机变量偏离其期望值的概率不会超过某一上界。

2. 分布无关形式

对于任意随机变量 $X$，具有有限的期望 $\mu$ 和方差 $\sigma^2$：

$$
P(|X - a| \geq b) \leq \frac{\sigma^2}{b^2}, \quad b > 0.
$$

• $a$：可以是任意常数（通常取为 $\mu = \mathbb{E}[X]$）。
• $b$：表示偏离的范围。

这是一种更广义的形式，适用于任何常数中心点 $a$。

3. 非对称形式

对于随机变量 $X$ 和任意正数 $\epsilon > 0$，我们可以对正负偏差进行不同的估计：

• 正偏差（右尾概率）：

$$
P(X - \mu \geq \epsilon) \leq \frac{\text{Var}(X)}{\epsilon^2}.
$$

• 负偏差（左尾概率）：

$$
P(X - \mu \leq -\epsilon) \leq \frac{\text{Var}(X)}{\epsilon^2}.
$$

这两个不等式将切比雪夫不等式拆分成单侧偏差的概率估计。

4. 概率离散化形式

设随机变量 $X$ 的概率分布是离散的，且具有有限的数学期望和方差，则切比雪夫不等式可以写成：

$$
\sum_{|X - \mu| \geq k\sigma} P(X) \leq \frac{1}{k^2}.
$$

• 这里的 $\sum_{|X - \mu| \geq k\sigma}$ 表示所有使得随机变量 $X$ 偏离其期望值 $\mu$ 至少 $k\sigma$ 的离散值的概率总和。

5. 归一化形式（标准正态化）

将随机变量 $X$ 标准化为零均值单位方差的形式 $\frac{X - \mu}{\sigma}$，切比雪夫不等式可以写为：

$$
P\left(\left|\frac{X - \mu}{\sigma}\right| \geq k\right) \leq \frac{1}{k^2}, \quad k > 0.
$$

这一形式特别适合对归一化随机变量进行概率界限的估计。

6. 期望导出形式

对于非中心点的偏差概率（例如偏离一个常数 $a$）：

$$
P(|X - a| \geq \epsilon) \leq \frac{\mathbb{E}[(X - a)^2]}{\epsilon^2}, \quad \epsilon > 0.
$$

此形式直接利用二阶矩 $\mathbb{E}[(X - a)^2]$，可以灵活应用于非对称分布或不同的中心点。

总结

这些形式的核心思想是一致的：用有限的期望和方差信息估计随机变量偏离的概率。根据具体问题的背景（对称性、中心点选择、分布特性等），可以选择合适的形式。