概率论基础学习：从随机变量到期望方差

概率论基础学习：从随机变量到期望方差

引用

CSDN

1.

https://m.blog.csdn.net/qq_71751106/article/details/142862604

概率论是数学的一个重要分支，主要研究随机现象的数量规律。本文将系统地介绍概率论中的基础概念，包括连续型随机变量及其概率密度函数、分布函数、常见分布（如0-1分布、几何分布、二项分布、泊松分布、均匀分布、指数分布和正态分布）、离散型和连续型随机变量函数的分布，以及期望与方差等。

连续型随机变量及其概率密度函数

连续型随机变量是取值可以是某个区间内任意实数的随机变量。与离散型随机变量不同，连续型随机变量的取值是连续的，不可数的。连续型随机变量的概率分布通常由概率密度函数（Probability Density Function, PDF）描述。

连续型随机变量的特点

1. 连续性：随机变量的取值是连续的，可以在一个或多个区间内取任意值。
2. 不可数性：取值是不可数的，即有无限多个可能的取值。
3. 概率分布：每个取值区间都有一个特定的概率，且整个取值范围的概率密度函数积分等于1。
4. 连续型的随机变量取值在任意一点的概率都是0。在函数曲线上某个点的概率其实是取的该点附近值的大小。
5. 连续情况下，端点无所谓。P{a≤x≤b}=P{a＜x＜b}

概率密度函数

对于一维实随机变量X，如果存在非负可积函数f(x)，使得对于任意实数x，

，则称f(x)为随机变量X的概率密度函数。

密度函数f(x) 具有下列性质：

• 非负性：对于所有的 x，有
• 归一性：概率密度函数在整个取值范围的积分等于1，即
• 概率密度函数的积分其实就是求曲线在某个区间内的面积。

分布函数

分布函数是描述随机变量取值分布情况的函数，无论是离散型随机变量还是连续型随机变量，都可以通过分布函数来描述其概率特性。分布函数通常指的是累积分布函数（Cumulative Distribution Function, CDF），用 F(x) 表示。

累积分布函数（CDF）

对于随机变量 X，其累积分布函数 F(x) 定义为随机变量 X 取值小于或等于 x 的概率：

CDF 的性质

1. 非减性：随着 x 的增加，F(x) 是非减的，即 F(x1)≤F(x2)对于所有的 x1≤x2 成立。
2. 范围：F(x)的值域在 0 到 1 之间，即 0≤F(x)≤1。
3. 边界条件：
4. 右连续：F(x) 在任意点 x 都是右连续的。对于离散型随机变量，F(x) 在任意点 x 是右连续，对于连续型随机变量，F(x) 在任意点 x 是连续的。

公式

对于不同类型随机变量的CDF

1. 离散型随机变量：

对于离散型随机变量，CDF 是阶梯式的，每个可能的取值点都有一个跳跃。

累积分布函数 F(x) 可以表示为：

2. 连续型随机变量：

对于连续型随机变量，CDF 是概率密度函数（PDF）的积分，并且是连续且光滑的（除非在某些点上有跳跃）。

累积分布函数 F(x) 可以表示为：

分布函数其实就是求曲线在某个区间内的面积。

常见的分布

0-1分布

0-1分布，也称为伯努利分布，是一种特殊的离散概率分布。它描述了在单次伯努利试验中只有两种可能结果的随机变量，通常这两种结果被称为“成功”和“失败”。

对于伯努利随机变量 X，其概率质量函数为：

其中：

• x 可以是0或1。
• p 是成功（x=1）的概率。
• 1−p 是失败（x=0）的概率。

用分布表来表示：

0-1分布式伯努利试验只做一次的分布函数，如果是n重伯努利试验，分布函数则为（详见事件概率的伯努利公式）：

几何分布

几何分布（Geometric Distribution）是描述在成功之前需要进行的试验次数的离散型概率分布。具体来说，几何分布描述的是在独立重复的伯努利试验中，首次成功所需的试验次数。

如果随机变量 X 表示获得第一次成功所需的试验次数，那么几何分布的概率质量函数为：

其中：

• k 是获得第一次成功时试验的次数，k=1,2,3,…
• p 是单次试验成功的概率。
• 1−p 是单次试验失败的概率。

简单理解：在试验第k次时试验成功，那么前边k-1次试验都没有成功，所以几何分布表示前边没成功概率的次数乘以当前成功的概率。

二项分布

二项分布的概率质量函数（PMF）：

如果随机变量 X 表示 n 次伯努利试验中成功的次数，那么 X 服从参数为 n 和 p 的二项分布，记作 X∼B(n,p)。二项分布的概率质量函数为：

其中：

• k 是成功的次数，k=0,1,2,…,n。
• 是组合数，表示从 n 次试验中选择 k 次成功的不同方式的数目，计算公式为
• p 是单次试验成功的概率。
• 1−p 是单次试验失败的概率。

其实就是事件概率中的伯努利公式。

k的最大可能值：

• k取最接近 (n+1)p 的整数:
• (n+1)p不为整数，则取最接近 (n+1)p 的整数为最大值。
• (n+1)p为整数，则取 (n+1)p 和(n+1)p-1都是最大值。

泊松分布

泊松分布（Poisson Distribution）是描述在固定时间或空间内事件发生次数的离散型概率分布。它适用于事件发生的概率较小且事件之间相互独立的情况。设随机变量 X 服从泊松分布，其参数为 λ，表示单位时间或空间内事件发生的平均次数。则 X 的概率质量函数（PMF）为：

其中:

• k 是事件发生的次数，k=0,1,2,…。
• λ是单位时间（或单位面积）内事件平均发生的次数。

泊松分布在实际中有广泛的应用，例如：

• 交通流量分析：描述一段时间内通过某个路口的车辆数。
• 电话呼叫中心：预测一定时间内接到的电话数量。
• 生态学：模拟某段时间内到达的候鸟数量。
• 放射性物质：描述一定时间内放射性物质发射粒子的数量。

当二项分布的试验次数 n 很大而成功概率 p 很小时，二项分布可以用泊松分布来近似。具体来说，如果n 足够大且 np=λ 保持不变，则二项分布 B(n,p)可以用泊松分布 P(λ)来近似。

均匀分布

在连续均匀分布中，所有可能的结果是连续的，并且在相同长度间隔的分布概率是相同的。

均匀分布的概率密度函数（PDF）：

对于连续型随机变量 X，如果它服从区间 [a,b]上的均匀分布，其概率密度函数为：

其中：

• a 是区间的下界。
• b 是区间的上界。
• b−a 是区间的长度。

为什么f(x)=1/(b-a)?

根据概率密度函数定义可知，在整个取值范围的积分等于1，其积分就是求曲线面积，f(x)在曲线中相当于高，(b−a)相当于曲线的宽，所以曲线面积

累积分布函数（CDF）：

推导：

• 当x<a：
• x不在[a,b]区间内
• 当a≤x<b时：
• 当b≤x时：

指数分布

指数分布（Exponential Distribution）是一种连续概率分布，它描述了在两个连续事件发生之间的时间间隔，这两个事件是完全随机的，且具有恒定的平均发生率。

指数分布通常用于模拟独立随机事件发生的时间间隔，如电话呼叫的到达时间、放射性物质的衰变时间等。

概率密度函数

其中：

• x 是随机变量，表示事件发生的时间间隔。
• λ 是率参数，表示单位时间内事件发生的平均次数。

分布函数

推导：

• 当x≥0：
• 当x<0：

正态分布

正态分布（Normal Distribution），也称为高斯分布（Gaussian Distribution），是连续概率分布的一种。

它是统计学中最重要的概率分布之一，因为许多自然和社会现象的分布都近似于正态分布。正态分布在自然科学和社会科学的许多领域都有应用，包括生物学、物理学、经济学和社会科学，记作：

正态分布

概率密度函数

其中：

• x 是随机变量。
• μ 是均值。
• σ是标准差。
• σ^2是方差。

性质

1. y=f(x)以x=u为对称轴
2. x=u时，f(x)取到最大值
3. y=f(x)以x轴为渐近线，x±σ为拐点
4. σ固定，u变化，图像左右移动；u固定，σ变小，最高点上移，σ变大，最高点下移

分布函数

标准正态分布

标准正态分布的均值为0，标准差为1

概率密度函数

分布函数

性质

1. y轴是对称轴，为偶函数
2. 概率密度函数：根据偶函数定义可知，
3. 分布函数：

根据曲线图像方便观察：

由上图可知，F(-x)是曲线中红色部分的面积，F(x)是曲线中黄色部分的面积，由分布函数的性质知，整个曲线的面积=1，所以蓝色部分的面积=1-黄色部分面积=1-F(x)，另外正态分布曲线是以y轴对称的，蓝色部分的面积=F(-x)，所以：F(-x)=1-F(x)

正态分布标准化

假设 X 是一个服从正态分布的随机变量，记作，其中：

标准化的步骤如下：

1. 中心化：将 X 减去均值 μ，得到一个新的随机变量 Y：
   此时，

2. 标准化：将 Y 除以标准差 σ，得到一个新的随机变量 Z：

此时，Z 的均值为0，方差为1，即 Z∼N(0,1)。

标准化公式

标准化后的随机变量 Z 的公式为：

标准化正态分布和正态分布的关系

概率密度函数：

• f(x)：标准正态密度函数；
• 分布函数：
• F(x)：标准正态分布函数；

离散型随机变量函数的分布

离散型随机变量函数的分布通常指的是如何从已知的离散型随机变量出发，通过某种函数关系得到新的随机变量，并确定这个新随机变量的概率分布。

离散型随机变量函数的分布的计算方法：

假设有一个离散型随机变量 X，其概率质量函数（PMF）为 P(X=x)，现在我们定义一个新的随机变量 Y=g(X)，其中 g 是一个函数。我们想要找到 Y 的概率分布。

1. 直接法：

对于每一个可能的 y 值，我们可以通过以下步骤计算 Y 取值为 y 的概率：

1. 确定 x 的值：找出所有使得 g(x)=y 成立的 x 的值。
2. 计算概率：对于每个满足条件的 x，将 X 取该值的概率相加。

数学上，这可以表示为：

其中表示所有使得 g(x)=y成立的 x 的集合。可以理解为y=g(x)的逆函数。

2. 间接法：

如果函数 g 是单调的，或者 Y 的取值范围有限，我们可以通过以下步骤计算 Y 的概率分布：

1. 列出所有可能的 y 值：确定 Y 可能取到的所有值。
2. 计算每个 y 的概率：对于每个 y，计算 P(Y=y)。

对于离散型随机变量函数的分布函数计算，最简单的方法是列出随机变量X的分布表，然后根据新的函数关系计算出新随机变量Y的值，其值对应的概率就是X原来值对应的概率值，然后形成分布表，如果Y值有重复，则将重复值对应的概率相加即可。

连续型随机变量函数的分布

连续型随机变量函数的分布是指通过一个连续型随机变量 XX的函数 Y=g(X)得到的新的随机变量 Y 的分布。

计算方法：

分布函数法

1. 计算 Y 的分布函数：
2. 求导得到概率密度函数：

期望与方差

数学期望

数学期望是概率论中的一个重要概念，它描述了一个随机变量的平均值或中心值。数学期望也被称为期望值或均值。它是对随机变量可能取值的加权平均，其中权重是每个可能取值的概率。

1.1 离散型随机变量的期望

对于离散随机变量 X ，其可能的取值为 x1,x2,…,xn，对应的概率为，则 X 的数学期望定义为：

其中 xi是随机变量 X 的可能取值，pi是 X取值为 xi的概率。