马尔科夫不等式：一个快速的概率上界工具
马尔科夫不等式：一个快速的概率上界工具
马尔科夫不等式是概率论中一个非常基础且实用的工具，它能够为非负随机变量的大偏差概率提供一个简单易用的上界。尽管这个不等式看起来很简单，但由于其对随机变量的要求很低，因此具有很广泛的应用场景。本文将从背景、核心思想、推导过程、应用场景等多个维度，深入浅出地介绍马尔科夫不等式。
背景
马尔科夫不等式是浓度不等式中最基础的一条。它的核心作用是：给一个非负随机变量的大偏差概率提供一个简单易用的上界。尽管它很“粗糙”，但因为对随机变量的要求很低，具有很广泛的应用场景。
核心思想
设X是一个非负随机变量（即X ≥ 0），它的均值是E[X]。假设你想知道X的值超过某个阈值t > 0的概率，即：
P(X ≥ t)
直觉上来说，如果X的期望值很小，那么它偏离期望值很多（大于t）的概率自然会受到限制。马尔科夫不等式就明确地把这种直觉量化为：
P(X ≥ t) ≤ E[X] / t
这个公式的含义非常清楚：如果随机变量的均值小，超过某个阈值的概率就会相应变小。
推导过程
为了直观解释马尔科夫不等式，我们可以通过定义一个辅助随机变量Y来理解。设：
Y = { t, 如果 X ≥ t,
0, 如果 X < t }
这个随机变量Y的值要么是t，要么是0，并且始终满足Y ≤ X，因为Y = t的时候t ≤ X。
图中展示了随机变量Y的定义。蓝色虚线表示X，橙色曲线表示Y的取值。
- 当X ≥ t时，Y = t，这一部分用橙色填充区域表示。
- 当X < t时，Y = 0，这一部分用绿色填充区域表示。
红色虚线表示阈值t。可以直观地看到，Y的取值始终不超过X，满足Y ≤ X的条件
根据Y的定义，我们可以计算它的期望值：
E[Y] = E[t ⋅ 1(X ≥ t)] = t ⋅ P(X ≥ t)
由于Y ≤ X，根据期望的单调性，有：
E[Y] ≤ E[X]
代入E[Y] = t ⋅ P(X ≥ t)，可以得到：
t ⋅ P(X ≥ t) ≤ E[X]
两边同时除以t > 0，我们就得到了马尔科夫不等式：
P(X ≥ t) ≤ E[X] / t
例子：投资收益的概率估算
假设你投资一个项目X，它的年平均收益是5%（即E[X] = 0.05）。你想知道，收益超过50%（即t = 0.5）的概率有多大。
根据马尔科夫不等式：
P(X ≥ 0.5) ≤ E[X] / t = 0.05 / 0.5 = 0.1
也就是说，收益超过50%的概率不会超过10%。
特点与不足
优点
- 简单直观：只需要随机变量的期望值，无需其他参数。
- 通用性强：适用于所有非负随机变量。
缺点
- 界限松弛：实际概率可能远小于上界。例如，如果随机变量的分布有更多结构信息（如方差或独立性），我们可以得到更紧的概率界限。
小结
马尔科夫不等式是一种“粗粒度”的工具，用最少的信息（均值）给出了概率的一个上界。它适合于初步的概率分析，但如果想要更精确地描述随机变量的偏差行为，我们可以进一步利用切比雪夫不等式，它通过引入方差让界限更加紧密。
在下一部分中，我们将探索切比雪夫不等式，并看到如何通过方差改进概率估计。