常见的数学统计模型

常见的数学统计模型

引用

CSDN

1.

https://blog.csdn.net/weixin_70682362/article/details/145404839

统计模型是数据分析和机器学习领域的基础性知识，对于从事相关工作的读者具有重要的指导意义。本文将介绍常见的数学统计模型及其应用，包括参数模型、非参数模型、时间序列模型、贝叶斯模型、生存分析模型以及聚类与降维模型等多个方面。

参数模型（Parametric Models）

参数模型假设数据服从特定分布（如正态分布），通过估计参数来描述数据规律。

1.1 线性回归模型

• 数学形式：$y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p + \epsilon$
• 应用：预测连续型目标变量（如房价预测）。
• 特点：简单、可解释性强，假设误差项独立同分布（i.i.d）。

1.2 逻辑回归模型

• 数学形式：$P(y=1) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p)}}$
• 应用：二分类问题（如信用评分、疾病诊断）。
• 特点：输出为概率，使用对数几率（logit）连接函数。

1.3 泊松回归模型

• 数学形式：$\log(\lambda) = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p$
• 应用：计数型数据建模（如交通事故次数、呼叫中心来电数）。
• 特点：响应变量服从泊松分布，均值等于方差。

1.4 广义线性模型（GLM）

• 数学形式：$g(\mu) = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p$
• 应用：扩展线性回归，支持非正态分布（如二项分布、伽马分布）。
• 特点：通过链接函数 $g(\cdot)$ 连接线性预测器和响应变量。

非参数模型（Nonparametric Models）

非参数模型不假设数据分布形式，灵活适应复杂结构。

2.1 核密度估计（Kernel Density Estimation, KDE）

• 数学形式：$\hat{f}(x) = \frac{1}{n h} \sum_{i=1}^n K\left( \frac{x - x_i}{h} \right)$
• 应用：估计随机变量的概率密度函数（PDF）。
• 特点：无需分布假设，依赖带宽 $h$ 的选择。

2.2 局部加权回归（LOESS）

• 数学形式：对局部数据点加权拟合多项式回归。
• 应用：非线性关系建模（如趋势分析）。
• 特点：灵活适应数据局部变化，计算成本较高。

时间序列模型

时间序列模型用于分析随时间变化的数据，捕捉趋势、季节性和自相关性。

3.1 自回归模型（AR）

• 数学形式：$y_t = c + \phi_1 y_{t-1} + \phi_2 y_{t-2} + \cdots + \phi_p y_{t-p} + \epsilon_t$
• 应用：股票价格预测、经济指标分析。
• 特点：当前值与历史值线性相关。

3.2 移动平均模型（MA）

• 数学形式：$y_t = \mu + \epsilon_t + \theta_1 \epsilon_{t-1} + \cdots + \theta_q \epsilon_{t-q}$
• 应用：消除随机波动，提取平稳成分。
• 特点：当前值与历史误差项相关。

3.3 ARIMA模型

• 数学形式：AR + 差分（I） + MA，即 $\text{ARIMA}(p, d, q)$
• 应用：非平稳时间序列预测（如销售量、气温）。
• 特点：通过差分使序列平稳，结合AR和MA特性。

贝叶斯模型

贝叶斯模型基于贝叶斯定理，结合先验分布和似然函数进行推断。

4.1 贝叶斯线性回归

• 数学形式：$P(\beta | y, X) \propto P(y | X, \beta) P(\beta)$
• 应用：小样本数据下的参数估计。
• 特点：提供参数的后验分布，而非点估计。

4.2 隐马尔可夫模型（HMM）

• 数学形式：状态转移概率 + 观测概率。
• 应用：语音识别、基因序列分析。
• 特点：假设隐藏状态驱动观测结果。

生存分析模型

生存分析模型研究事件发生时间的分布及影响因素。

5.1 Kaplan-Meier估计

• 数学形式：$S(t) = \prod_{t_i \leq t} \left( 1 - \frac{d_i}{n_i} \right)$
• 应用：生存率估计（如患者存活时间）。
• 特点：非参数方法，处理右删失数据。

5.2 Cox比例风险模型

• 数学形式：$h(t | X) = h_0(t) \exp(\beta_1 x_1 + \cdots + \beta_p x_p)$
• 应用：分析生存时间与协变量的关系。
• 特点：不假设基准风险函数 $h_0(t)$ 的形式。

聚类与降维模型

聚类与降维模型用于无监督学习，发现数据内在结构。

6.1 K均值聚类（K-Means）

• 数学形式：最小化组内平方和 $\sum_{i=1}^k \sum_{x \in C_i} |x - \mu_i|^2$
• 应用：客户分群、图像压缩。
• 特点：需预先指定簇数 $k$，对异常值敏感。

6.2 主成分分析（PCA）

• 数学形式：协方差矩阵特征分解，保留最大方差方向。
• 应用：数据降维、可视化。
• 特点：线性变换，无监督特征提取。

总结

根据具体问题选择模型时，需考虑数据分布、样本量、目标变量类型（连续/离散）以及是否需要可解释性。