最强总结！十大统计检验方法 ！！

最强总结！十大统计检验方法 ！！

统计检验方法是数据分析和科学研究中不可或缺的工具，用于评估模型性能差异是否显著，帮助区分真实效果与随机波动，确保实验结果具有统计意义。本文将详细介绍十大常用的统计检验方法，包括它们的基本原理、核心公式以及实际应用案例。

1. t检验

t检验是一种用于比较均值差异显著性的方法。主要应用包括：

• 单样本t检验：样本均值是否与已知总体均值有显著差异。
• 两独立样本t检验：两组独立样本均值是否显著不同。
• 配对样本t检验：两相关样本均值是否显著不同。

基本原理

假设数据服从正态分布，通过构造t统计量，将样本均值差异标准化为标准误单位，以计算显著性。t统计量服从自由度为的t分布。

核心公式

1. 单样本t检验

• ：样本均值
• ：总体均值
• ：样本标准差
• ：样本容量

2. 独立样本t检验

• ：合并方差

3. 配对样本t检验

• ：配对差值的均值
• ：差值的标准差

完整案例

我们比较两种药物 A 和 B 对患者反应时间的影响。虚拟数据集包括两组数据，表示每组的患者反应时间（单位：秒）。我们将使用独立样本 t 检验，检查两种药物在平均反应时间上的差异是否显著。

1. 箱线图和点图：结合展示两组数据的分布范围、四分位数和每个数据点，便于对分布中心和离散程度的直接对比。
2. 密度曲线图：直观显示数据的分布形状、峰值和偏态情况，有助于评估 t 检验的正态性假设。
3. 均值和置信区间图：清晰地展示均值及其不确定性范围，直接支持 t 检验结果的解释。

2. 卡方检验

卡方检验用于比较观测频率与理论频率之间的差异。分为：

• 拟合优度检验：某分类变量分布是否符合理论分布。
• 独立性检验：两个分类变量是否独立。

基本原理

通过计算观测频率和期望频率的差异（标准化为期望频率的单位），并构造统计量，该统计量服从卡方分布。

核心公式

• ：观测频率
• ：期望频率

完整案例

案例假设某市场研究团队调查了不同年龄段消费者对三种产品的偏好，以检查年龄段与产品偏好是否相关。

1. 堆叠条形图：展示每个年龄组中消费者对不同产品的偏好情况，能直观体现年龄组之间的差异。
2. 热力图：期望频数的热力图帮助对比实际频数和理论频数是否存在显著偏差。
3. 残差分析图：标准化残差图用颜色强度突出贡献最大的组合，便于发现影响结果的主因。

3. 方差分析（ANOVA, Analysis of Variance）

方差分析用于比较多个样本组的均值是否显著不同。分为：

• 单因素方差分析：一个因子影响多个组均值。
• 双因素方差分析：两个因子及其交互作用对均值的影响。

基本原理

将总体变异分解为组间变异和组内变异，构造F统计量（组间变异与组内变异的比值），进行显著性检验。

核心公式

1. 总体方差分解

总平方和（SST）：
组间平方和（SSB）：
组内平方和（SSW）：
满足：

2. F统计量

其中，，。F统计量服从自由度为的F分布。

完整案例

比较三种不同教学方法对学生考试成绩的影响，并通过方差分析（ANOVA）来检验组间差异是否显著。

1. 箱线图：显示分组数据的分布和潜在离群值。
2. 小提琴图：呈现数据分布的概率密度和统计摘要。
3. 小提琴图叠加点图：在分布曲线的基础上增加数据点，显示每个分组的细节。
4. 均值和标准差柱状图：突出各组的中心趋势和变异情况。

4. 非参数检验

非参数检验适用于无法满足正态性或方差齐性的场景。其主要目的是比较样本中位数或分布的差异，而非均值。

• 用途：检测两独立样本的分布是否相同，常用替代t检验。
• 基本原理：比较两组数据的秩次，计算一个组的数据在另一组中'大于'的次数，作为U统计量。

核心公式

1. 计算秩和： 将两组数据合并，按大小排序，分配秩次（最小值为1）。分别计算组1和组2的秩和，记为和。

2. U统计量：

3. 正态近似（样本量大时）：

其中，

完整案例

使用非参数检验分析两组数据之间的差异。

1. 左侧的箱线图显示了两组数据的中位数、四分位数范围以及离群值。
2. 右侧的小提琴图显示了数据的分布形状，可以看出治疗方法A的分布有更长的尾部，说明存在一些极端值。

5. 相关性检验（皮尔逊相关、斯皮尔曼秩相关）

相关性检验用于衡量两个变量之间的线性关系（皮尔逊相关）或单调关系（斯皮尔曼秩相关）。

皮尔逊相关系数

• 用途：衡量两个连续变量间的线性相关性。
• 公式：
• 推导：基于协方差定义，标准化协方差为相关系数。

斯皮尔曼秩相关系数

• 用途：衡量两个变量之间的单调关系。
• 公式：
• ：两个变量的秩差
• ：样本量
  推导：基于秩序统计理论，计算秩差平方和，标准化为相关性系数。

完整案例

进行房价和地段评分的相关性分析。

1. 散点图和回归线图：房价和地段评分之间有明显的线性相关性，点分布围绕红色回归线，表明关系较强。
2. 热力图：相关系数接近 1（比如 0.95），进一步确认了两者的强正相关关系。

6. Kolmogorov-Smirnov检验（K-S检验）

K-S检验用于比较样本分布与理论分布（单样本），或两个样本分布（双样本）是否显著不同。

基本原理

基于累积分布函数（CDF）的最大差异构造统计量，检验分布差异。

核心公式

-S统计量：
：样本1和样本2的经验分布函数。

2. 临界值：根据样本量和假设分布计算临界值。

从经验分布函数的差异出发，结合极大似然估计和大数定理，推导出统计量的极限分布。

完整案例

使用 Kolmogorov-Smirnov (K-S) 检验对两个不同分布的虚拟数据集进行对比。

1. 分布直方图：通过对比两个数据集的频率分布，提供整体的分布形态差异。
2. 经验累积分布函数（ECDF）图：直观地显示 K-S 检验所用的累积分布曲线的差异。
3. K-S 统计量可视化图：通过标记最大距离和点，展示 K-S 检验的核心结果（最大距离 D）。

7. Shapiro-Wilk检验（正态性检验）

Shapiro-Wilk检验用于检测样本是否服从正态分布。

基本原理

基于样本排序后的统计特性，计算与正态分布理论值的偏差。

核心公式

• ：排序后的样本
• ：权重，基于正态分布计算

基于正态分布的概率密度函数，计算样本排序的权重特性，从而构造W统计量。

完整案例

1. 直方图 + 正态拟合曲线：展示正态数据与非正态数据的分布形态。
2. Q-Q 图：正态数据的点分布在参考线附近，而非正态数据偏离明显。
3. 盒图：显示正态数据较对称，而非正态数据有明显偏态和离群值。
4. KDE 曲线对比：进一步对比两种数据的分布曲线形态。

8. F检验（方差齐性检验）

F检验用于比较两组或多组数据的方差是否相等。

核心公式

1. F统计量：

• ：两组样本的方差（假设df_1 = n_1 - 1df_2 = n_2 - 1$。

从方差的抽样分布出发，基于独立正态变量平方和分布的比值，推导出F分布。

完整案例

比较三个不同组（A、B、C）之间的方差是否相等。

代码中的虚拟数据集模拟了三组不同的数据分布，并使用F检验来比较它们的方差是否显著不同。

1. 箱线图：展示每组数据的分布（包括中位数、四分位数、异常值）。通过观察箱线图，可以初步了解组间的分布差异。
2. 小提琴图：在箱线图的基础上，结合密度分布提供更详细的分布信息，尤其是观察数据分布的形状和对称性。

9. Log-rank检验（生存分析）

Log-rank检验用于比较两组生存曲线是否显著不同。

核心公式

O-E统计量：

• ：观察到的事件数
• ：期望事件数
• ：方差

从生存概率的累计比较构造出O-E的检验框架，结合累积分布推导。

完整案例

我们模拟三个组（例如三种治疗方案）患者的生存数据。每个组的生存时间数据将遵循不同的分布，并加入随机的删失数据（即患者在研究结束时未发生事件）。

1. 数据生成：为每个治疗组（Treatment A, B, C）生成不同的生存时间，并对数据进行删失处理（例如，通过随机事件生成删除一部分数据）。
2. Kaplan-Meier 曲线绘制：我们使用 KaplanMeierFitter 来拟合生存函数并绘制 Kaplan-Meier 曲线，显示不同治疗组的生存概率。生存曲线通过时间对生存概率的变化进行可视化，并通过置信区间表示生存估计的不确定性。
3. Log-rank 检验：对两组之间进行 Log-rank 检验（比如治疗组A与B、A与C），并输出 p-value，帮助我们检验不同治疗组之间的生存曲线是否有显著差异。
4. 风险函数绘制：使用 NelsonAalenFitter 来拟合并绘制风险函数，显示每个治疗组在不同时间点上发生事件的风险。

10. 假设检验（Z检验）

Z检验用于大样本假设检验，适合样本容量较大（通常 ）或总体方差已知的情况。

• 单样本Z检验：用于判断样本均值是否与总体均值显著不同。
• 两独立样本Z检验：用于判断两组独立样本均值是否显著不同。

基本原理

假设样本均值的分布服从正态分布，通过计算标准化统计量 ，利用标准正态分布进行显著性检验。

核心公式

1. 单样本Z检验：

• ：样本均值
• ：总体均值
• ：总体标准差
• ：样本容量

2. 两独立样本Z检验：

• ：两组样本均值
• ：两组总体标准差
• ：两组样本容量

核心公式推导

1. 单样本Z检验推导

假设样本均值 来自总体均值 的分布，其标准误为 。构造标准化变量：
该统计量服从标准正态分布 ，通过计算观察值的概率，判断是否拒绝原假设。

2. 两独立样本Z检验推导

两组独立样本的均值差异：
其分布均值为 ，标准误为：
构造标准化变量：
若假设两总体均值相等（即 ），则 的分布为 。

完整案例

一个假设场景：公司 A 认为其新推出的产品的满意度评分（满分 5 分）高于行业平均满意度评分 = 3.5。我们生成虚拟数据集，进行单样本 Z 检验。

1. 分布直方图和密度曲线：直观展示满意度评分的分布特性。
2. QQ 图：检查数据是否满足正态分布假设（Z 检验的前提）。
3. 置信区间与假设检验统计量对比图：显示检验结果的显著性水平，直观解释是否拒绝原假设。