AI 高手之路 11：深入理解线性回归与逻辑回归

创作时间:

作者:

@小白创作中心

AI 高手之路 11：深入理解线性回归与逻辑回归

引用

CSDN

https://blog.csdn.net/liu1983robin/article/details/146488253

在人工智能和机器学习的领域中，线性回归与逻辑回归是最基础也是最重要的算法之一。它们不仅是预测房价、洞察市场趋势、评估疾病风险的利器，更是理解更复杂模型的基石。本文将深入浅出地解析这两种算法的原理、实现方法及应用案例，帮助读者掌握这些核心技能。

线性回归：预测连续值的利器

原理：简单而强大的数学模型

线性回归，顾名思义，其核心在于“线性”二字。它假设输入特征与输出值之间存在着一条直线（或超平面）的关系。这种关系用数学公式表达出来，简洁而优雅。

对于最简单的单变量线性回归，我们用以下公式来描述：

$$y = w x + b$$

在这个公式中，

$y$ 是我们渴望预测的数值，比如房价、销售额等；
$x$ 是输入特征，例如房屋面积、广告投入；
$w$ 是权重，代表特征 $x$ 对 $y$ 的影响程度；
$b$ 是偏置，可以理解为当 $x$ 为 0 时 $y$ 的基准值。

当特征不止一个时，线性回归就升级为多变量线性回归。公式也随之扩展为：

$$y = w_1 x_1 + w_2 x_2 + \ldots + w_n x_n + b$$

为了让公式更简洁，我们可以使用矩阵的形式来表示：

$$y = Wx + b$$

其中，$W$ 是权重向量，$x$ 是特征向量。

损失函数：衡量模型表现的标准

模型的好坏，不能只凭感觉，需要一个客观的评价标准。在线性回归中，均方误差 (Mean Squared Error, MSE)就是最常用的损失函数。它的公式如下：

$$MSE = \frac{1}{n} \sum_{i=1}^{n} (y_{true} - y_{pred})^2$$

这个公式的含义是：对于所有样本，计算模型预测值 $y_{pred}$ 与真实值 $y_{true}$ 之间差的平方，然后求平均值。MSE 的值越小，说明模型的预测结果与真实值越接近，模型也就越优秀。我们的目标就是找到一组最优的参数 $w$ 和 $b$，使得 MSE 尽可能地小。

梯度下降：寻找最佳参数的旅程

有了损失函数，就像有了目标。接下来，我们需要找到一种方法，朝着目标前进。梯度下降 (Gradient Descent)算法就是这个指路明灯。它是一种迭代优化算法，通过不断调整参数，逐步逼近损失函数的最小值。

梯度，简单来说，就是函数在某一点变化最快的方向。负梯度方向，就是函数值下降最快的方向。梯度下降法的核心思想就是：沿着损失函数的负梯度方向，一步一步地调整参数。

参数更新的公式如下：

$$w = w - \alpha \frac{\partial MSE}{\partial w}$$

$$b = b - \alpha \frac{\partial MSE}{\partial b}$$

其中，$\alpha$ 是学习率 (learning rate)，它控制着每次参数更新的步长。学习率太小，收敛速度会很慢；学习率太大，可能会错过最优解，甚至导致不收敛。

现在，让我们用 Python 代码来实现一个简单的梯度下降线性回归模型。我们会使用 numpy 来进行数值计算，matplotlib 来可视化结果，sklearn 来生成模拟数据和划分数据集。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split

# 生成模拟数据，特征数量为 1，加入噪声
X, y = make_regression(n_samples=100, n_features=1, noise=10, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义线性回归模型类
class LinearRegression:
    def __init__(self, learning_rate=0.01, n_iterations=1000):
        self.learning_rate = learning_rate
        self.n_iterations = n_iterations
        self.weights, self.bias = None, None
        self.loss = []

    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.weights = np.zeros(n_features)
        self.bias = 0

        for _ in range(self.n_iterations):
            y_predicted = np.dot(X, self.weights) + self.bias
            dw = (1 / n_samples) * np.dot(X.T, (y_predicted - y))
            db = (1 / n_samples) * np.sum(y_predicted - y)

            self.weights -= self.learning_rate * dw
            self.bias -= self.learning_rate * db

            loss = (1 / n_samples) * np.sum((y_predicted - y) ** 2)
            self.loss.append(loss)

    def predict(self, X):
        return np.dot(X, self.weights) + self.bias

# 训练模型
model = LinearRegression()
model.fit(X_train, y_train)

# 预测
predictions = model.predict(X_test)

# 可视化结果
plt.scatter(X_test, y_test, color='blue', label='Actual')
plt.plot(X_test, predictions, color='red', linewidth=2, label='Predicted')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.legend()
plt.show()

# 可视化损失函数
plt.plot(range(model.n_iterations), model.loss)
plt.xlabel('Iterations')
plt.ylabel('Loss')
plt.title('Loss vs. Iterations')
plt.show()

这段代码首先生成了一组模拟数据，然后定义了一个简单的线性回归模型类，实现了梯度下降算法来优化模型参数。最后，通过可视化展示了模型的预测结果和损失函数的变化情况。