资讯

历史

科技

环境与自然

成长

游戏

财经

文学与艺术

美食

健康

家居

文化

情感

汽车

三农

军事

旅行

运动

教育

生活

星座命理

机器学习实战：线性回归算法详解与实战

创作时间:

作者:

@小白创作中心

机器学习实战：线性回归算法详解与实战

引用

CSDN

https://blog.csdn.net/yweng18/article/details/145658066

线性回归是机器学习中最基础且最重要的算法之一，广泛应用于预测连续变量的场景，如房价预测、销售量预测等。本文将从线性回归的基本原理出发，深入讲解其核心概念，并通过实战案例帮助读者掌握这一经典算法。

线性回归的基本原理

什么是线性回归？

线性回归是一种监督学习算法，其目标是找到一条直线（或超平面），使得这条直线能够最好地拟合数据点。对于单变量线性回归，公式如下：

$$
y = w_0 + w_1 x
$$

其中：

$y$ 是目标变量（预测值）。
$x$ 是输入特征。
$w_0$ 是截距（偏置项）。
$w_1$ 是权重（斜率）。

在线性回归中，我们的任务是找到最佳的 $w_0$ 和 $w_1$，使得预测值与真实值之间的误差最小化。

图1：线性回归示意图（波士顿房价预测）

损失函数与梯度下降法

损失函数

为了衡量模型的好坏，我们定义了一个损失函数（Loss Function）。最常用的损失函数是均方误差（Mean Squared Error, MSE）：

$$
MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2
$$

其中：

$n$ 是样本数量。
$y_i$ 是第 $i$ 个样本的真实值。
$\hat{y}_i$ 是第 $i$ 个样本的预测值。

MSE 的目标是让所有样本的预测误差平方和最小。

梯度下降法

梯度下降是一种优化算法，用于最小化损失函数。其核心思想是沿着损失函数的负梯度方向更新参数 $w$，直到达到最优解。更新公式为：

$$
w := w - \alpha \cdot \frac{\partial J(w)}{\partial w}
$$

其中：

$\alpha$ 是学习率（控制步长）。
$J(w)$ 是损失函数。

图2：梯度下降过程（三维曲面表示损失函数，小球从高处滚向最低点，代表参数逐步优化的过程）

多元线性回归模型

当输入特征不止一个时，我们使用多元线性回归。公式扩展为：

$$
y = w_0 + w_1x_1 + w_2x_2 + ... + w_px_p
$$

这可以写成矩阵形式：

$$
\mathbf{y} = \mathbf{X} \cdot \mathbf{w}
$$

其中：

$\mathbf{y}$ 是目标变量向量。
$\mathbf{X}$ 是特征矩阵。
$\mathbf{w}$ 是权重向量。

如何评估回归模型性能

评估回归模型的性能通常使用以下指标：

1. 均方误差（MSE）

MSE 衡量预测值与真实值之间的平均误差平方。越小越好。

2. 决定系数（R²）

R² 表示模型对数据变异性的解释能力，取值范围为 [0, 1]。越接近 1，说明模型拟合效果越好。

示例代码（Python实现）：

from sklearn.metrics import mean_squared_error, r2_score

# 计算 MSE 和 R²
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print(f"MSE: {mse:.2f}, R²: {r2:.2f}")

实践部分：使用 Boston 房价数据集构建线性回归模型

数据集简介

Boston 房价数据集包含波士顿地区房屋价格及其相关特征，共有 506 条记录和 13 个特征。目标是预测房屋的中位数价格（单位：千美元）。

完整代码

import numpy as np
import pandas as pd
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

# 加载数据
boston = load_boston()
data = pd.DataFrame(boston.data, columns=boston.feature_names)
data['PRICE'] = boston.target

# 分割数据集
X = data.drop('PRICE', axis=1)
y = data['PRICE']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 评估模型性能
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print(f"模型评估结果：")
print(f"MSE: {mse:.2f}, R²: {r2:.2f}")

运行结果：

模型评估结果：
MSE: 24.29, R²: 0.67

可视化展示

在波士顿房价预测任务中，通过可视化展示线性回归的预测直线和散点图可以帮助我们直观地理解模型的拟合效果。以下增加可视化模块的完整实现。

完整代码（包含可视化模块）

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

# 加载数据
boston = load_boston()
data = pd.DataFrame(boston.data, columns=boston.feature_names)
data['PRICE'] = boston.target

# 分割数据集
X = data[['RM']]  # 使用房间数（RM）作为单一特征进行可视化
y = data['PRICE']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 评估模型性能
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print(f"模型评估结果：")
print(f"MSE: {mse:.2f}, R²: {r2:.2f}")

# 可视化模块：绘制预测直线与散点图
plt.figure(figsize=(10, 6))
# 将 X_test 和 y_pred 转换为 NumPy 数组，并确保是一维的
X_test_array = X_test.values.flatten()  # 转换为一维数组
y_pred_array = y_pred.flatten()         # 转换为一维数组
# 绘制真实值的散点图
plt.scatter(X_test_array, y_test, color='blue', label='True Values', alpha=0.6)
# 绘制预测直线
plt.plot(X_test_array, y_pred_array, color='red', linewidth=2, label='Predicted Line')
# 添加标题和标签
plt.title('Linear Regression: Predicted vs True Values', fontsize=16)
plt.xlabel('Average Number of Rooms (RM)', fontsize=12)
plt.ylabel('House Price (in $1000s)', fontsize=12)
plt.legend()
# 显示图表
plt.show()

代码解析：