条件概率、概率乘法公式、全概率公式和贝叶斯 (Bayes) 公式
条件概率、概率乘法公式、全概率公式和贝叶斯 (Bayes) 公式
条件概率
设P(A) > 0，若在随机事件A发生的条件下随机事件B发生的概率记作P(B|A)，定义
$$
P(B|A) = \frac{P(AB)}{P(A)}
$$
则称P(B|A)是事件A发生的条件下事件B发生的条件概率。
概率乘法公式
设A, B为两个随机事件且P(A) > 0，则
$$
P(AB) = P(B|A)P(A) \tag{1.1}
$$
或者，若P(B) > 0，则
$$
P(AB) = P(A|B)P(B) \tag{1.2}
$$
式(1.1)和式(1.2)都称为概率乘法公式。
概率乘法公式可以推广到多个事件的情形：设A1, A2, ⋯, An是先后相继的n个随机事件，且满足P(A1A2⋯An−1) > 0，则
$$
P(A1A2⋯An) = P(A1)P(A2|A1)P(A3|A1A2)⋯P(An|A1A2⋯An−1)
$$
样本空间的划分
设Ω为随机试验E的样本空间，B1, B2, ⋯, Bn为E的一组随机事件，若
(1)BiBj = ∅, i ≠ j, i, j = 1, 2, ⋯, n;
(2)B1∪B2∪⋯∪Bn = Ω,
则称B1, B2, ⋯, Bn为样本空间Ω的一个划分（或完备事件组）。
注：∑i=1nBi = Ω也可以作为划分的定义。
全概率公式
设B1, B2, ⋯, Bn为样本空间Ω的一个划分且P(Bi) > 0, i = 1, 2, ⋯, n，则对于任意随机事件A有
$$
P(A) = \sum_{i=1}^{n} P(A|Bi)P(Bi), \tag{1.3}
$$
式(1.3)称作全概率公式。
证明 因为A = AΩ = A∑i=1nBi = ∑i=1nABi，所以
$$
P(A) = P\left( \sum_{i=1}^{n} ABi \right) = \sum_{i=1}^{n} P(ABi) = \sum_{i=1}^{n} P(A|Bi)P(Bi)
$$
全概率公式突出了一个“全”，即任何随机事件A发生的概率是其全部影响因素B1, B2, ⋯, Bn的综合作用效果，即其各个影响因素的加权平均，各自的权重是每个因素出现的概率P(Bi), i = 1, 2, ⋯, n。
全概率公式的最简单形式
假如0 < P(B) < 1，则
$$
P(A) = P(B)P(A|B) + P(\overline{B})P(A|\overline{B})
$$
这个公式表示事件A发生的总概率可以通过在事件B发生和不发生两种情况下的条件概率加权求和得到。
贝叶斯公式
设B1, B2, ⋯, Bn为样本空间Ω的一个划分且P(Bi) > 0, i = 1, 2, ⋯, n，则对于任意随机事件A且P(A) > 0有
$$
P(Bi|A) = \frac{P(A|Bi)P(Bi)}{\sum_{j=1}^{n} P(A|Bj)P(Bj)}, i = 1, 2, ⋯, n \tag{1.4}
$$
式(1.4)称作贝叶斯(Bayes)公式。
- P(Bi|A)：后验概率，表示在事件A发生的条件下，条件Bi发生的概率。
- P(A|Bj)：类条件概率，表示在条件Bj存在时，结果事件A发生的概率。
- P(Bj)：先验概率，表示各不相容的条件存在的概率，与结果A是否出现无关，仅表示根据先验知识或主观判断，认为总体上各条件出现的可能性有什么差别。
- P(A)：结果A在各个条件下出现的总体概率。
贝叶斯公式是利用已有结论重新评估或修正各个条件出现的概率，公式中的P(Bi)和P(Bi|A)分别称作原因或条件的先验概率和后验概率。P(Bi), i = 1, 2, ⋯, n是在没有进一步信息（不知道事件A是否发生）的前提下认定的各条件发生的概率；在获得了新的信息（事件A已经发生）后，对先前各条件发生概率的修正，即形成概率P(Bi|A)。