正向传播和反向传播：神经网络中的信息传递与参数优化

正向传播和反向传播：神经网络中的信息传递与参数优化

引用

CSDN

1.

https://m.blog.csdn.net/basketball616/article/details/140364080

正向传播和反向传播是神经网络中两个核心的概念，它们分别负责信息的前向传递和误差的反向传播。本文将从定义、步骤、公式到具体示例，层层递进地解释这两个概念，帮助读者理解神经网络的基础原理。

正向传播（Forward Propagation）

正向传播是指将输入数据通过神经网络，计算出预测值的过程。具体步骤如下：

1. 输入层：接受输入数据。
2. 隐藏层：每个隐藏层中的神经元接收上一层的输出，进行加权求和，再经过激活函数得到输出。
3. 输出层：最后一层的神经元将隐藏层的输出再次加权求和并通过激活函数，得到最终的预测结果。

上图是一个简单的二层神经网络

正向传播的公式如下（以简单的单层网络为例）：

是权重矩阵，
是输入向量，
是偏置向量，
是激活函数，
是输出结果

反向传播（Backward Propagation）

反向传播是指根据损失函数计算出的误差，通过链式法则（Chain Rule）逐层计算并更新网络中的参数（权重和偏置）以最小化误差的过程。具体步骤如下：

1. 计算损失：使用损失函数计算预测值与真实值之间的误差。例如，使用均方误差（MSE）或交叉熵损失。
2. 误差反向传播：从输出层开始，计算损失相对于每个参数的梯度。通过链式法则，将梯度逐层传递回去。
3. 参数更新：使用优化算法（如梯度下降）更新每个参数，使损失最小化。参数更新公式如下：

是更新前的权重，
是更新后的权重，
是学习速率，
是损失函数相对于权重的梯度。

关系与作用

• 信息传递：正向传播将输入数据的信息从输入层传递到输出层，计算模型的预测结果；反向传播根据损失函数的梯度信息，将误差信号从输出层传递回每一层的参数，用于参数的更新。
• 依赖关系：反向传播依赖于正向传播的计算结果。只有在进行了正向传播并得到预测结果后，才能计算损失函数并使用链式法则进行梯度计算。
• 整体学习过程：正向传播和反向传播是神经网络学习过程中不可或缺的两个步骤。正向传播计算预测结果，反向传播根据预测结果与真实标签的差距来调整模型参数，使得模型在训练过程中不断优化。

通过正向传播和反向传播的结合，神经网络能够根据输入数据学习并调整参数，从而实现对复杂问题的有效建模和预测。

示例：神经网络训练过程

假设我们有一个简单的神经网络模型，包含一个输入层、一个隐藏层和一个输出层，具体如下

• 网络结构：
• 输入层：2个特征输入
• 隐藏层：3个神经元，使用ReLU激活函数
• 输出层：1个神经元，使用sigmoid激活函数

• 正向传播（Forward Propagation）：
  在正向传播过程中，我们将输入数据
  通过网络层，计算得到模型的预测输出
  。

其中：

正向传播计算出了模型的预测输出
，即模型对输入数据的预测结果。

• 输入层到隐藏层：

• 隐藏层到输出层：

• 是输入特征向量。

• 是隐藏层的权重和偏置。

• 是输出层的权重和偏置。

• 是激活函数。

• 是sigmoid激活函数。

• 损失计算：
  使用损失函数
  计算预测输出
  与真实标签
  之间的差异。

• 反向传播（Backward Propagation）：
  反向传播根据损失函数的梯度，从输出层向隐藏层和输入层传播，计算每个参数的梯度并更新参数。

其中，
表示逐元素相乘，
是ReLU激活函数的导数。

• 计算输出层的梯度：

• 计算隐藏层的梯度：

相互依赖性的体现

1. 信息流动：

• 正向传播计算出预测结果
  ，反向传播使用
  和真实标签
  的差异来计算梯度。
• 反向传播的梯度计算依赖于正向传播的预测输出
  ，因为梯度是基于损失函数对输出层的输出（即
  ）的导数计算的。

2. 参数更新：

• 反向传播计算出的梯度用于更新神经网络的参数（权重和偏置）。
• 更新后的参数影响到下一次的正向传播，从而影响到预测输出
  的计算结果。

3. 迭代优化：

• 每一次迭代中，正向传播计算出新的预测结果，反向传播根据这些预测结果计算出新的梯度，并用于参数更新。
• 这种正向传播和反向传播的迭代过程不断优化模型，使得模型能够逐步逼近最优解。