机器学习中的最大似然估计：原理、应用与比较

机器学习中的最大似然估计：原理、应用与比较

引用

CSDN

等

11

来源

1.

https://blog.csdn.net/qq_51320133/article/details/137912409

2.

https://blog.csdn.net/qq_51320133/article/details/137912409#t0

3.

https://blog.csdn.net/woody0518/article/details/136524018

4.

https://blog.csdn.net/a6333230/article/details/144350119

5.

https://blog.csdn.net/lamusique/article/details/100268532

6.

https://blog.csdn.net/xy707707/article/details/136774575

7.

https://blog.csdn.net/m0_46135173/article/details/140484948

8.

https://blog.csdn.net/qq_51320133/article/details/137912409#t1

9.

https://www.cnblogs.com/hello-nullptr/p/18404728

10.

https://www.infoyuyao.com/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92%E4%B8%8E%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%EF%BC%9A%E4%B8%A4%E7%A7%8D%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%9C%AC%E8%B4%A8%E5%8C%BA%E5%88%AB/

11.

http://xishansnow.github.io/posts/46ae35f1.html

在机器学习领域，最大似然估计（Maximum Likelihood Estimation，MLE）是一种广泛使用的参数估计方法。它通过寻找一组参数，使得观测数据出现的概率最大，从而实现对模型参数的优化。这种方法不仅在理论上具有坚实的统计学基础，在实际应用中也表现出良好的效果，特别是在处理大量复杂数据时。

最大似然估计的核心思想是基于似然函数。假设我们有一组独立同分布的观测数据 (X = {x_1, x_2, ..., x_n})，这些数据由一个参数为 (\theta) 的概率模型生成。似然函数 (L(\theta|X)) 定义为在给定参数 (\theta) 的条件下，观测到这组数据的概率：

[L(\theta|X) = P(X|\theta) = \prod_{i=1}^{n} P(x_i|\theta)]

我们的目标是找到使似然函数最大化的参数值 (\hat{\theta})：

[\hat{\theta} = \arg\max_{\theta} L(\theta|X)]

为了计算方便，通常会使用对数似然函数，因为对数函数是单调递增的，不会改变最大值的位置。对数似然函数定义为：

[\log L(\theta|X) = \sum_{i=1}^{n} \log P(x_i|\theta)]

这样做的好处是将乘积转换为求和，避免了数值下溢的问题，同时也简化了计算。

让我们通过一个具体的例子来理解最大似然估计在机器学习中的应用。假设我们有一组数据，这些数据服从正态分布，我们需要估计这个分布的均值 (\mu) 和标准差 (\sigma)。

1. 数据生成：假设我们从一个均值为5、标准差为1.5的正态分布中随机抽取100个样本。

2. 定义似然函数：正态分布的概率密度函数为：

[P(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)]

因此，对数似然函数为：

[\log L(\mu, \sigma|X) = -\frac{n}{2} \log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i-\mu)^2]

3. 求解最大似然估计：我们可以通过数值优化方法（如梯度上升法）来求解使对数似然函数最大化的 (\mu) 和 (\sigma)。在Python中，可以使用scipy.optimize库中的minimize函数来实现。

import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import minimize

# 数据生成
np.random.seed(42)
true_mu = 5.0
true_sigma = 1.5
sample_size = 100
data = np.random.normal(true_mu, true_sigma, sample_size)

# 定义负对数似然函数
def neg_log_likelihood(theta, data):
    mu, sigma = theta
    n = len(data)
    log_likelihood = -n/2 * np.log(2*np.pi*sigma**2) - (1/(2*sigma**2)) * np.sum((data-mu)**2)
    return -log_likelihood

# 初始猜测
initial_guess = [0, 1]

# 使用Nelder-Mead方法进行优化
result = minimize(neg_log_likelihood, initial_guess, args=(data,), method='Nelder-Mead')

# 获取MLE估计的参数
mu_mle, sigma_mle = result.x
print(f"MLE estimated mean: {mu_mle:.2f}, true mean: {true_mu}")
print(f"MLE estimated std dev: {sigma_mle:.2f}, true std dev: {true_sigma}")

# 可视化结果
plt.figure(figsize=(10, 6))
sns.histplot(data, kde=True, color="skyblue", label="Data")
x_range = np.linspace(np.min(data), np.max(data), 1000)
plt.plot(x_range, norm.pdf(x_range, mu_mle, sigma_mle), label="MLE Fit")
plt.axvline(true_mu, linestyle="--", color="red", label="True Mean")
plt.axvline(mu_mle, linestyle="--", color="green", label="Estimated Mean")
plt.legend()
plt.title("Maximum Likelihood Estimation for a Normal Distribution")
plt.show()

从上图可以看出，最大似然估计得到的参数（绿色虚线）与真实参数（红色虚线）非常接近，说明MLE方法的有效性。

最小二乘法

在某些情况下，最大似然估计与最小二乘法是等价的。例如，当模型误差服从正态分布时，最小化平方误差等价于最大化似然函数。然而，MLE更具通用性，可以应用于各种概率模型，而最小二乘法主要适用于线性模型。

贝叶斯估计

最大似然估计属于频率学派的方法，它不考虑参数的先验分布，只关注数据本身。而贝叶斯估计则将参数视为随机变量，通过贝叶斯定理将先验信息和观测数据结合起来，得到参数的后验分布。因此，贝叶斯估计在某种程度上更灵活，但计算量通常更大。

最大似然估计作为一种经典的参数估计方法，在机器学习中具有重要地位。它通过最大化似然函数来寻找最优参数，具有直观的原理和坚实的理论基础。在实际应用中，MLE不仅能够处理简单的线性模型，还能应用于复杂的神经网络等非线性模型。然而，它也存在一些局限性，如对初始值敏感、计算复杂度高等。未来，随着计算能力的提升和优化算法的发展，最大似然估计在机器学习中的应用将更加广泛和深入。