概率论核心定理详解：切比雪夫不等式、大数定理与中心极限定理
概率论核心定理详解：切比雪夫不等式、大数定理与中心极限定理
尽管统计学本身是门科学，我们也在纯数学的角度上研究了很多概率的性质。但是也不能否认统计学中依然有相当多经验总结。而且相当多的经验是行之有效的。在《概率论与数理统计》这本教材中，也列举了一些经验性的东西，因此我们也需要来学习一下。
切比雪夫不等式 (Chebyshev’s Inequality)
我们来看一看切比雪夫不等式，有两个：
$$
P { |X - E(X)| \leq \varepsilon } \geq 1 - \frac{D(X)}{\varepsilon ^ 2}
$$
$$
P { |X - E(X)| > \varepsilon } \leq \frac{D(X)}{\varepsilon ^ 2}
$$
那么，它们表达什么含义呢？
对于随机事件，如果它服从一定的分布，就会发现随机事件会以极大的概率落入一个或者两个标准差之内。换言之，对于概率事件，如果取一个范围$[- \varepsilon, + \varepsilon]$，那么落入这个范围以内的概率为$1 - \frac{D(X)}{\varepsilon ^ 2}$，超过这个范围的概率是$\frac{D(X)}{\varepsilon ^ 2}$。
大数定理（Law of Large Numbers）
从切比雪夫不等式出发，我们发现之所以切比雪夫不等式成立，其中一个很重要的原因就是因为同分布独立的概率事件，其期望值总是固定且相等。同样的，我们发现当对随机事件大量实验后，会发现随机事件A随着实验次数增大时总会呈现出某种稳定性，即朝着某个常数（通常即期望）收敛，而这就是所谓的大数定理。
上图清楚的表明，随着样本的增加，噪音逐渐减少，其样本值逐渐收敛到期望值。所以，从经验和大量的实验结果统计表明：
$$
\overline{X_n} = \frac{1}{n}(X_1 + \cdots + X_n)
$$
当$n \rightarrow \infty$时，$\overline{X_n} \rightarrow \mu$。要满足这个结果的限制条件，就有如下几条：
- $X_i$彼此是独立、同分布的
- $E(X_i) \approx \mu$
那么关于如何描述大数定理，目前数学界主要给出了三种
1.弱大数定理（辛钦大数定理）
对于一列独立同分布的随机变量序列$X_1, X_2, \cdots, X_n$，如果这些随机变量的期望$\mu = E(X_i)$存在，则样本均值$\overline{X}n = \frac{1}{n} \sum{i=1}^n X_i$依概率收敛于总体均值$\mu$，即：
$$
\lim_{n \to \infty} P\left(|\overline{X}_n - \mu| < \varepsilon\right) = 1 \quad \text{对于任意的 } \varepsilon > 0.
$$
这是弱收敛（依概率收敛）的概念。这里的“依概率收敛”是指对于任意给定的正数$\varepsilon$，随着$n$趋于无穷，样本均值与总体均值的差小于$\varepsilon$的概率趋于 1。
2.强大数定理
对于一列独立同分布的随机变量序列$X_1, X_2, \cdots, X_n$，如果这些随机变量的期望$\mu = E(X_i)$存在，则样本均值$\overline{X}n = \frac{1}{n} \sum{i=1}^n X_i$几乎处处收敛于总体均值$\mu$，即：
$$
P\left(\lim_{n \to \infty} \overline{X}_n = \mu \right) = 1.
$$
这里的“几乎处处收敛”指的是几乎必然地收敛，即样本均值收敛到总体均值的事件发生的概率为 1。这个收敛比弱大数定理中的依概率收敛更强。
3.切比雪夫大数定理
对于一列两两独立的随机变量序列$X_1, X_2, \cdots, X_n$，如果这些随机变量的期望$E(X_i) = \mu$存在，并且方差$D(X_i) = \text{Var}(X_i) \leq \sigma^2 < \infty$有统一的上界，则样本均值$\overline{X}_n = \frac{1}{n} \sum_{i=1}^n X_i$依概率收敛于总体均值$\mu$。即，对于任意$\varepsilon > 0$，有：
$$
\lim_{n \to \infty} P\left(|\overline{X}_n - \mu| < \varepsilon \right) = 1.
$$
切比雪夫大数定理是弱大数定理的一种特殊情况，它不需要变量是完全独立的，但要求它们的方差有一个统一的上界。
总结
- 弱大数定理和切比雪夫大数定理都表述的是依概率收敛的情况。
- 强大数定理表述的是几乎处处收敛，收敛的强度更高。
中心极限定理
想象一下，我们把随机序列一巴掌拍扁，把事件绘制在图表上会有什么效果。没错，基本上随机事件会呈现比较明显的正态分布的特点。
所以，对于独立、同分布的随机序列
$$
X_1 + X_2 + X_3 + \cdots + X_n = \sum_{i=1}^n X_i
$$
其标准化变量：
$$
Y = \frac{\sum X_i - E(\sum X_i)}{\sqrt{D(\sum X_i)}} = \frac{\sum X_i - n\mu}{\sqrt{n} \sigma}
$$
如果他们有相同的数学期望$E(X_i) = \mu$，方差有界，且$\sigma^2 > 0$。那么这样的数列近似服从正态分布：
$$
\frac{ \sum_{i=1}^n X_i - n\mu}{\sqrt{n} \sigma} \sim N(n \mu, n \sigma^2)
$$
如果对上式子上下同时$\frac{1}{n}$，就可以令
$$
\frac{ \frac{1}{n}\sum_{i=1}^n X_i - \mu}{\sigma / \sqrt{n}} \sim N( \mu, \sigma^2)
$$
即：
$$
\lim_{n \rightarrow \infty} P{ \frac{ \sum_{i=1}^n X_i - n\mu}{\sqrt{n} \sigma} \leq x } \approx \Phi(x) \sim N( \mu, \sigma^2)
$$
使得上式近似的变成一个标准正态分布。即，当n充分大的时候，我们可以用标准正态分布给出其近似分布。
另外，针对中心极限定理，一般通常情况下会问一个范围内是多少概率的问题，所以通常会把这类问题转换为标准正态分布来求解 $N～( \mu = 0 (\mu = 0(μ=0,σ = 1 ) \sigma = 1)σ=1)$，正态分布的数学符号通常表示为$\Phi$。
所以有：
$$
P{ a <\sum_{i=1}^n X_i < b } \approx \Phi(\frac{b - n\mu}{\sqrt{n} \sigma}) - \Phi(\frac{a - n\mu}{\sqrt{n} \sigma})
$$
这里要强调的是，计算结果只能近似，而不是相等。因为以前的人没有计算机，无法准确的得出实验结果。所以当结果呈现正态分布的时候，就会习惯性的把它跟标准正态分布进行比对，计算出的结果是个接近的值。但如果你用计算机严格的做实验进行模拟的话，还是会发现最终结果跟笔算的结果差异还是挺大的。
从另外一方面来说，对于概率问题，通常我们更关心事件是大概率事件还是小概率事件，而不是关心概率事件的实际概率是多少。所以这也从另外一个角度，解释了为什么在数学中很多情况下（不止概率计算中），其实只需要计算一个估值就可以了。
二项分布中心极限定理
这也算是一个比较常见的中心极限，相关的知识点你参考着我上面写的就行了，解题过程和中心极限定理是差不多的。
若$X \sim B(n, p)$近似于$N(np, np(1-p))$
$$
P{ a < X < b } = \Phi(\frac{b - np}{\sqrt{np (1- p)}}) - \Phi(\frac{a - np}{\sqrt{np (1- p)}})
$$
实际问题求解
生产线上组装每件成品的时间 $X$ 服从指数分布，其数学期望为 $1/5$ ，假设各件产品的组 装 时 间 互 不 影 响 ， 试 求 组 装 100 件 成 品 需 要 15 到 20 小 时 的 概 率 ，其中已知$\Phi(2.5) = 0.9938$，$\Phi(1.25)=0.8944$。
解：，因为是指数分布，且已知期望$\mu = 1 / 5$，则$\sigma = 1 / 5$，且$n = 100$。然后带入公式：
$$
P{ 15 \leq Y \leq 20 } = \Phi(\frac{20 - n \mu}{\sqrt{n} \sigma}) - \Phi(\frac{15 - n \mu}{\sqrt{n} \sigma})
$$
然后我们把上述值代入公式中
$$
=\Phi(\frac{20 - 100 * 1/5}{\sqrt{100} * 1/5}) - \Phi(\frac{15 - 100 * 1/5}{\sqrt{100} * 1/5}) = \Phi(0) - \Phi(-2.5)
$$
因为正态分布关于$X = 0$对称分布，所以有：
$$
=\Phi(0) - [1 - \Phi(2.5)] = \Phi(0) + \Phi(2.5) = 0.5 + 0.9938 -1 = 0.4938
$$
如果是用笔头计算正则分布的分布函数，通常是比较难求解的。一般来说题目会给出可能用到的$\Phi(Y)$值，不过如果是平时自己在做作业、或者工程中，可以用到《正则分布表》查表计算，有需要的话你可以去下载。