测度论基础：从概率空间到Fatou引理
测度论基础：从概率空间到Fatou引理
测度论是现代概率论和统计学的基础理论之一，它提供了一种严谨的数学框架来处理随机现象。本文将从概率空间、σ-代数、概率测度等基本概念出发，逐步深入探讨测度论的核心内容。
概率空间
概率空间由三元组 $(\Omega, \mathcal{F}, \mathbb{P})$ 组成，其中：
- $\Omega$ 为非空集合，表示所有可能的结果；
- $\mathcal{F}$ 为 $\sigma$-代数，表示一个事件的集合；
- $\mathbb{P}：\mathcal{F} \to \mathbb{R}$ 表示概率测度。
详细讲一下什么是 $\sigma$-代数以及概率测度。
$\sigma$-代数
定义：
$(\sigma$-algebra). A family $\mathcal{F} \subset 2^{\Omega}$ (all subsets of $\Omega$) is called a $\sigma$-algebra if:
- $\Omega \in \mathcal{F}$ (or $\varnothing \in \mathcal{F}$);
- $A \in \mathcal{F} \Rightarrow A^c \in \mathcal{F}$;
- $A_n \in \mathcal{F}$ for $n \geq 1 \Rightarrow \bigcup_{n=1}^{\infty} A_n \in \mathcal{F}$.
这保证了 $\sigma$-代数对于无限个集合并集的闭合性（这就是 “$\sigma$” 代表的含义，即对可数个集合操作的闭合性）。
概率测度
定义：
(Probability measure). A function $\mathbb{P} : \mathcal{F} \to \mathbb{R}$ is called a probability measure if:
- $\mathbb{P}(A) \geq 0$ for $A \in \mathcal{F}$ and $\mathbb{P}(\varnothing) = 0$;
- $\mathbb{P}\left( \bigcup_{n=1}^{\infty} A_n \right) = \sum_{n=1}^{\infty} \mathbb{P}(A_n)$ whenever $A_n \in \mathcal{F}$ are disjoint for $n \geq 1$;
- $\mathbb{P}(\Omega) = 1$.
概率测度是一个将事件（$\sigma$-代数中的元素）映射为概率值的函数，满足非负性、可加性和全概率为 1 的性质。
我们举个例子：
稍微补充一下：$\Omega$ 代表样本空间，$\omega \in \Omega$ 表示样本点(Sample point)，$A \in \mathcal{F}$ 代表一个事件。
样本空间有分为无限样本空间和有限样本空间，比如说抛一次硬币，那么样本空间为head或者tails，也就是要么正面要么反面两个子集，这个空间子集是有限的。无限样本空间比如说从 $[0,1]$ 中随机挑选一个数字，那么在 0 到 1 之间有无数个数字所有样本空间里的子集就有无数个。
最小 $\sigma$-代数生成
定义：
$(\sigma$-algebra generated by $\mathcal{C})$. If $\mathcal{C} \subset 2^{\Omega}$, then the smallest $\sigma$-algebra on $\Omega$ containing $\mathcal{C}$ is denoted by $\sigma(\mathcal{C})$.
给定一个系统 $\mathcal{C} \subset 2^{\Omega}$，我们可以通过这个系统生成一个最小的 $\sigma$-代数，这个 $\sigma$-代数包含了 $\mathcal{C}$ 中的所有集合，同时满足 $\sigma$-代数的所有性质（闭合性）。这个最小的 $\sigma$-代数通常记作 $\sigma(\mathcal{C})$。
如果你有一个初始集合系统 $\mathcal{C}$，但它不一定具有 $\sigma$-代数的性质（如闭合性），那么我们可以通过加入必要的集合来扩展它，直到它成为 $\sigma$-代数。同时，这个扩展是“最小的”，即它只包含那些确保它是 $\sigma$-代数的最少元素。
举个例子：如果 $\mathcal{C}$ 是一个包含几个简单事件的集合系统（比如 ${A}$，但不包含补集），那么我们需要将 $A^c$ 和其他运算结果加入到 $\sigma$-代数中，直到形成完整的 $\sigma$-代数。
上面的定义其实也可以用以下公式来表示：
$\sigma(\mathcal{C}) = \bigcap_{\mathcal{D}} \mathcal{D}$，
其中的 $\mathcal{D}$ 表示所有包含 $\mathcal{C}$ 的 $\sigma$-代数的集合。换句话说，$\sigma(\mathcal{C})$ 是所有包含 $\mathcal{C}$ 的 $\sigma$-代数的交集。
假设存在很多 $\sigma$-代数包含了 $\mathcal{C}$，我们可以取这些 $\sigma$-代数的交集，交集的结果仍然是一个 $\sigma$-代数，并且它是包含 $\mathcal{C}$ 的最小 $\sigma$-代数。这个过程确保了我们得到了唯一的最小 $\sigma$-代数。
Borel $\sigma$-代数
定义：
(Borel $\sigma$-algebra). Taking $\Omega = \mathbb{R}$ and $\mathcal{C} = {O \subset \mathbb{R} : O \text{ is open}}$
Borel $\sigma$-代数 $\mathcal{B}(\mathbb{R})$ 是通过取所有实数集 $\mathbb{R}$ 上的开集来生成的**$\sigma$-代数**。
$\mathcal{C}1 = {I{a,b} \mid a < b \text{ in } \mathbb{R}}$，
$I_{a,b}$ 等于 $(a, b)$ 或 $(a, b]$ 或 $[a, b)$ 或 $[a, b]$ 或 $(-\infty, b)$ 或 $(-\infty, b]$ 或 $(a, +\infty)$ 或 $[a, +\infty)$
Borel $\sigma$-代数中的元素，即通过开集生成的 $\sigma$-代数中的集合。因此，任何可以由开集生成的集合（通过有限或可数次的并集、交集或补集等运算）都是Borel 集。
如果 $\mathcal{C}$ 是 Borel $\sigma$-代数中的一个集合 $\mathcal{C} \in \mathcal{B}(\mathbb{R})$，$\mathcal{C}$ 上可以定义子集上的 Borel $\sigma$-代数，记为 $\mathcal{B}(\mathcal{C})$。这个 Borel 代数中的元素是通过取 $\mathbb{R}$ 中的 Borel 集与 $\mathcal{C}$ 的交集得到的集合，即：
$\mathcal{B}(\mathcal{C}) = {B \cap \mathcal{C} \mid B \in \mathcal{B}(\mathbb{R})}$.
$\mathbb{P}$（概率测度）的基本性质
假设所有的子集都属于 $\mathcal{F}$，那么
- $\mathbb{P}(A \subset B) \Rightarrow \mathbb{P}(A) \leq \mathbb{P}(B)$ (monotonicity)
- $\mathbb{P}(A \cup B) \leq \mathbb{P}(A) + \mathbb{P}(B)$ (sub-additivity)
- $\mathbb{P}\left( \bigcup_{i=1}^{n} A_i \right) \leq \sum_{i=1}^{n} \mathbb{P}(A_i)$ (sub-additivity)
- $\mathbb{P}\left( \bigcup_{i=1}^{\infty} A_i \right) \leq \sum_{i=1}^{\infty} \mathbb{P}(A_i)$ (σ-sub-additivity)
- $\mathbb{P}(A \cup B) = \mathbb{P}(A) + \mathbb{P}(B) - \mathbb{P}(A \cap B)$
- $\mathbb{P}\left( \bigcup_{i=1}^{n} A_i \right) = \sum_{i=1}^{n} \mathbb{P}(A_i) - \sum_{1 \leq i < j \leq n} \mathbb{P}(A_i \cap A_j) + \sum_{1 \leq i < j < k \leq n} \mathbb{P}(A_i \cap A_j \cap A_k) - \cdots + (-1)^{n-1} \mathbb{P}(A_1 \cap A_2 \cap \cdots \cap A_n)$
极限性概率测度 $\mathbb{P}$
其性质如下：
从下连续性
$A_n \uparrow A \implies \mathbb{P}(A_n) \uparrow \mathbb{P}(A)$ (continuity from below)
从上连续性
$A_n \downarrow A \implies \mathbb{P}(A_n) \downarrow \mathbb{P}(A)$ (continuity from above)
极限为零的事件并集
如果一列事件 $A_1, A_2, \dots$ 的每一个事件的概率都为 0，那么它们的并集的概率也必然为 0：
$\mathbb{P}(A_n) = 0$ for $n \geq 1 \implies \mathbb{P}\left( \bigcup_{n=1}^{\infty} A_n \right) = 0.$
如果一列事件 $A_1, A_2, \dots$ 的每一个事件的概率都为 1，那么它们的交集的概率也必然为 1：
$\mathbb{P}(A_n) = 1$ for $n \geq 1 \implies \mathbb{P}\left( \bigcap_{n=1}^{\infty} A_n \right) = 1.$
liminf 和 limsup 事件
定义：
Let $(\Omega, \mathcal{F}, \mathbb{P})$ be a probability space and let $A_n$ belong to $\mathcal{F}$ for $n \geq 1$. We then define:
$\limsup_{n \to \infty} A_n := \bigcap_{n=1}^{\infty} \bigcup_{k=n}^{\infty} A_k$ (the event that infinitely many of $A_n$ occur).
$\liminf_{n \to \infty} A_n := \bigcup_{n=1}^{\infty} \bigcap_{k=n}^{\infty} A_k$ (the event that all but finitely many of $A_n$ occur).
Fatou 引理(Fatou’s lemma for sets)
定义：
Let $(\Omega, \mathcal{F}, \mathbb{P})$ be a probability space and let $A_n$ belong to $\mathcal{F}$ for $n \geq 1$. We then have:
$\mathbb{P}\left( \liminf_{n \to \infty} A_n \right) \leq \liminf_{n \to \infty} \mathbb{P}(A_n)$
$\mathbb{P}\left( \limsup_{n \to \infty} A_n \right) \geq \limsup_{n \to \infty} \mathbb{P}(A_n)$
举个例子
针对上面两个知识点，我们举几个例子来说明以下：
设我们重复无穷次掷一枚公平的硬币（假设正面是事件 $A_n$ 发生，反面是 $A_n$ 不发生），每次掷硬币独立进行，每次掷硬币的概率都是 $\mathbb{P}(A_n)=\frac{1}{2}$。
limsup 事件：无限多次发生的事件
这个事件表示“事件 $A_n$ 无穷多次发生”，即在无限次掷硬币中，会有无穷多次掷出正面（事件 $A_n$ 发生）。limsup 表示那些在未来会不断重复发生的事件。
liminf 事件：几乎每次都发生的事件
这个事件表示“从某个时刻开始，几乎每次掷硬币都会掷出正面”，即从某次 $n$ 开始，掷硬币几乎每次都会掷出正面。
再来看看 Fatou 引理
$\mathbb{P}\left( \liminf_{n \to \infty} A_n \right) \leq \liminf_{n \to \infty} \mathbb{P}(A_n)$
由于当 $n$ 无穷大的时候，$\mathbb{P}(A_n)=\frac{1}{2}$，所以 $\liminf_{n \to \infty} \mathbb{P}(A_n)=\frac{1}{2}$，我们上文提到的事件从某个时刻开始每次掷出正面是不可能的，所以 $\mathbb{P}\left( \liminf_{n \to \infty} A_n \right)=0$
$\mathbb{P}\left( \limsup_{n \to \infty} A_n \right) \geq \limsup_{n \to \infty} \mathbb{P}(A_n)$
$\limsup_{n \to \infty} \mathbb{P}(A_n)=\frac{1}{2}$
我们已经知道 $\mathbb{P}\left( \limsup_{n \to \infty} A_n \right)=1$（因为掷硬币中会有无穷多次掷出正面）。 因此，Fatou 引理的 limsup 部分成立。