条件概率 vs 联合概率

创作时间:

作者:

@小白创作中心

条件概率 vs 联合概率

引用

来源

https://datasciocean.tech/machine-learning-basic-concept/conditional-vs-joint-probability/

在机器学习和概率论中，条件概率和联合概率是两个非常基础且重要的概念。本文将通过详细的解释和生活化的例子，帮助读者彻底理解这两个概念的区别，并掌握如何计算它们。

前言 & 概述

在前一篇文章中，我们介绍了概率的基本概念，包括表示法（Notation）、随机变量（Random Variable, RV）、三种基本的概率类型与乘法法则（Multiplication Rule）。其中，三种基本概率类型中的“条件概率”与“联合概率”经常使初学者分不清楚。因此，在本篇文章中，将以更简单的方式说明两者的差别。此外，我们也会了解概率中“AND”、“OR”的概念。

条件概率 (Conditional Probability)

在前一篇文章中，我们介绍过条件概率的定义。“条件概率”（Conditaionl Probability）指的是某一个事件发生的“前提”之下，另外-个事件发生的概率。例如，A 与 B 是两个不的事件，在 B 事件发生的前提下，A 事件发生的概率为 P(A | B)。

我们以扑克牌的例子说明：假设 B = “抽出红色的卡牌”，A = “抽出数字 4 的卡牌”，则 P(A | B) = 2/26（因为已经先抽出 26 张红色的卡牌，其中包含两张数字 4）。

联合概率 (Joint Probability)

在前一篇文章中，我们也介绍过联合概率的定义。“联合概率”（Joint Probability）指的是“两个或多-个”事件同时发生的概率。A 与 B 是两个不同的事件，A 与 B 同时发生的概率为 P(A ∩ B）。“∩”符号称为“交集”，就是指两个都要的意思。

我们以扑克牌的例子说明：假设 A =“从一副扑克牌中抽出一张 6”且 B =“从一副扑克牌中抽出一张红色”，则 P(A ∩ B) = 2/52（因为一副扑克牌有 52 张，同时是 6 又是红色的有 2 张）。

条件概率 vs 联合概率

对于第一次接触概率概念的初学者而言，条件概率与联合概率的概念还是稍微难以区分。因此，我们接着更深入的讨论两者的区别。

继续前面扑克牌的例子，假设我们希望计算“抽出一张红色卡牌且为数字 4”的概率，此概率就是联合概率，可以表示为 P(Red and 4) = P(Red ∩ 4)。要计算这一个联合概率，我们可以想象现在桌面上摆放着 52 张扑克牌，而且这些扑克牌都是“盖上”的，因此我们不知道每张扑克牌实际的颜色与数字。但是，我们知道这 52 张卡牌中，颜色是红色且数字为 4 的卡牌有 2 张。因此，P(Red and 4) = 2/52。

另外一种情况，假设我们希望计算“抽出一张数字为 4 的卡牌，且已经知道他是红色”的概率，此概率就是条件概率，可以表示为 P(4 | Red)。要计算这一个条件概率，我们可以想象桌面上摆放着所有的 52 张扑克牌，但是抽出卡牌之前，我们已经事先将所有红色的卡牌取出，并且摊开在桌上。又 26 张红色的卡牌中，包含了 2 张数字 4 的卡牌。因此 P(4 | Red) = 2/26 = 1/13。

此外，我们也可以透过乘法法则（Multiplication Rule）计算上述的问题。以联合概率 P(Red and 4）为例，P(Red and 4) = P(4 and Red) 会等于 P(4 | Red) × P(Red) = 1/13 × 1/2 = 1/26 = 2/52。

补充：P(Red) = 1/2，因为 52 张扑克牌中有一半是红色的！

AND vs OR

AND

在前面的例子中，我们解释了联合概率与条件概率的差别。然而，我们却没有提到该怎么计算联合概率（Joint Probability）。所谓的联合概率，即是两个事件“同时”发生的概率。例如，P(A ∩ B) 即是 A 事件与 B 事件同时发生的概率。以乘法法则的角度出发，P(A ∩ B) = P(A | B) × P(B)。

我们再以一个生活化的例子说明联合概率该怎么算！假设现在我们手中有两个骰子，A 事件 = “第一颗骰子为 6”、B 事件 = “第二颗骰子为 1”。

根据乘法法则，我们可以先计算 P(A | B) 与 P(B) 而得到 P(A ∩ B)。P(A | B) 指的是在“‘第二颗骰子为 1’的前提下，‘第一颗骰子为 6’的概率是多少”。聪明的你一定知道，不管第二颗骰子的结果为何，都和第一颗骰子没有关系啊！因此，我们可以说 A 事件与 B 事件互为“独立事件”。

当 A 事件与 B 事件互为独立时，A 事件发生的概率不会受到 B 事件影响，因此 P(A | B) = P(A)。

再回到乘法法则，我们可以得到 P(A ∩ B) = P(A) × P(B) = 1/6 × 1/6 = 1/36。

在 AND 时，我们会将所有事件发生的概率“相乘”；在 OR 时，我们会将所有事件发生的概率“相加”。在数学上，会表示为 P(A ∪ B) = P(A) + P(B) – P(A ∩ B)。

其中，因为 P(A) + P(B) 时，A 与 B 重叠的部分会重複计算，因此需扣掉一次重叠的部分。

我们再以一个生活化的例子说明 OR 的概念！假设现在我们手中有两个骰子，A 事件 = “第一颗骰子为 6”、B 事件 = “第二颗骰子为 1”。

则 P(A ∪ B) = 1/6 + 1/6 – 1/36 = 11/36。