深度学习基础：多层感知机的前向传播与反向传播详解

创作时间:

作者:

@小白创作中心

深度学习基础：多层感知机的前向传播与反向传播详解

引用

CSDN

https://blog.csdn.net/Morse_Chen/article/details/145311365

多层感知机（MLP）是深度学习中最基本的神经网络模型之一。本文将深入探讨MLP的前向传播和反向传播过程，通过数学推导和计算图可视化的方式，帮助读者理解这一核心算法的工作原理。

我们已经学习了如何用小批量随机梯度下降训练模型。然而当实现该算法时，我们只考虑了通过前向传播（forward propagation）所涉及的计算。在计算梯度时，我们只调用了深度学习框架提供的反向传播函数，而不知其所以然。

梯度的自动计算（自动微分）大大简化了深度学习算法的实现。在自动微分之前，即使是对复杂模型的微小调整也需要手工重新计算复杂的导数，学术论文也不得不分配大量页面来推导更新规则。本节将通过一些基本的数学和计算图，深入探讨反向传播的细节。首先，我们将重点放在带权重衰减（L 2 L_2L2 正则化）的单隐藏层多层感知机上。

一、前向传播

前向传播（forward propagation或forward pass）指的是：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。

我们将一步步研究单隐藏层神经网络的机制，为了简单起见，我们假设输入样本是x ∈ R d \mathbf{x}\in \mathbb{R}^dx∈Rd，并且我们的隐藏层不包括偏置项。这里的中间变量是：
z = W ( 1 ) x (1) \mathbf{z}= \mathbf{W}^{(1)} \mathbf{x} \tag{1}z=W(1)x(1)其中W ( 1 ) ∈ R h × d \mathbf{W}^{(1)} \in \mathbb{R}^{h \times d}W(1)∈Rh×d是隐藏层的权重参数。将中间变量z ∈ R h \mathbf{z}\in \mathbb{R}^hz∈Rh通过激活函数ϕ \phiϕ后，我们得到长度为h hh的隐藏激活向量：
h = ϕ ( z ) (2) \mathbf{h}= \phi (\mathbf{z}) \tag{2}h=ϕ(z)(2)

隐藏变量h \mathbf{h}h也是一个中间变量。假设输出层的参数只有权重W ( 2 ) ∈ R q × h \mathbf{W}^{(2)} \in \mathbb{R}^{q \times h}W(2)∈Rq×h，我们可以得到输出层变量，它是一个长度为q qq的向量：
o = W ( 2 ) h (3) \mathbf{o}= \mathbf{W}^{(2)} \mathbf{h} \tag{3}o=W(2)h(3)

假设损失函数为l ll，样本标签为y yy，我们可以计算单个数据样本的损失项：
L = l ( o , y ) (4) L = l(\mathbf{o}, y) \tag{4}L=l(o,y)(4)

根据L 2 L_2L2 正则化的定义，给定超参数λ \lambdaλ，正则化项为
s = λ 2 ( ∥ W ( 1 ) ∥ F 2 + ∥ W ( 2 ) ∥ F 2 ) (5) s = \frac{\lambda}{2} \left(|\mathbf{W}^{(1)}|_F^2 + |\mathbf{W}^{(2)}|_F^2\right) \tag{5}s=2λ (∥W(1)∥F2 +∥W(2)∥F2 )(5)其中矩阵的Frobenius范数是将矩阵展平为向量后应用的L 2 L_2L2 范数。最后，模型在给定数据样本上的正则化损失为：
J = L + s (6) J = L + s \tag{6}J=L+s(6)

在下面的讨论中，我们将J JJ称为目标函数（objective function）。

二、前向传播计算图

绘制计算图有助于我们可视化计算中操作符和变量的依赖关系。图1是与上述简单网络相对应的计算图，其中正方形表示变量，圆圈表示操作符。左下角表示输入，右上角表示输出。注意显示数据流的箭头方向主要是向右和向上的。

图1 前向传播的计算图

三、反向传播

反向传播（backward propagation或backpropagation）指的是计算神经网络参数梯度的方法。简言之，该方法根据微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络。该算法存储了计算某些参数梯度时所需的任何中间变量（偏导数）。假设我们有函数Y = f ( X ) \mathsf{Y}=f(\mathsf{X})Y=f(X)和Z = g ( Y ) \mathsf{Z}=g(\mathsf{Y})Z=g(Y)，其中输入和输出X , Y , Z \mathsf{X}, \mathsf{Y}, \mathsf{Z}X,Y,Z是任意形状的张量。利用链式法则，我们可以计算Z \mathsf{Z}Z关于X \mathsf{X}X的导数
∂ Z ∂ X = prod ( ∂ Z ∂ Y , ∂ Y ∂ X ) (7) \frac{\partial \mathsf{Z}}{\partial \mathsf{X}} = \text{prod}\left(\frac{\partial \mathsf{Z}}{\partial \mathsf{Y}}, \frac{\partial \mathsf{Y}}{\partial \mathsf{X}}\right) \tag{7}∂X∂Z =prod(∂Y∂Z ,∂X∂Y )(7)

在这里，我们使用prod \text{prod}prod运算符在执行必要的操作（如换位和交换输入位置）后将其参数相乘。对于向量，这很简单，它只是矩阵-矩阵乘法。对于高维张量，我们使用适当的对应项。运算符prod \text{prod}prod指代了所有的这些符号。

回想一下，在计算图1中的单隐藏层简单网络的参数是W ( 1 ) \mathbf{W}^{(1)}W(1)和W ( 2 ) \mathbf{W}^{(2)}W(2)。反向传播的目的是计算梯度∂ J / ∂ W ( 1 ) \partial J/\partial \mathbf{W}^{(1)}∂J/∂W(1)和∂ J / ∂ W ( 2 ) \partial J/\partial \mathbf{W}^{(2)}∂J/∂W(2)。为此，我们应用链式法则，依次计算每个中间变量和参数的梯度。计算的顺序与前向传播中执行的顺序相反，因为我们需要从计算图的结果开始，并朝着参数的方向努力。第一步是计算目标函数J = L + s J=L+sJ=L+s相对于损失项L LL和正则项s ss的梯度。
∂ J ∂ L = 1 , ∂ J ∂ s = 1 (8) \frac{\partial J}{\partial L} = 1 ; , ; \frac{\partial J}{\partial s} = 1 \tag{8}∂L∂J =1,∂s∂J =1(8)

接下来，我们根据链式法则计算目标函数关于输出层变量o \mathbf{o}o的梯度：
∂ J ∂ o = prod ( ∂ J ∂ L , ∂ L ∂ o ) = ∂ L ∂ o ∈ R q (9) \frac{\partial J}{\partial \mathbf{o}} = \text{prod}\left(\frac{\partial J}{\partial L}, \frac{\partial L}{\partial \mathbf{o}}\right) = \frac{\partial L}{\partial \mathbf{o}} \in \mathbb{R}^q \tag{9}∂o∂J =prod(∂L∂J ,∂o∂L )=∂o∂L ∈Rq(9)

接下来，我们计算正则化项相对于两个参数的梯度：
∂ s ∂ W ( 1 ) = λ W ( 1 ) , ∂ s ∂ W ( 2 ) = λ W ( 2 ) (10) \frac{\partial s}{\partial \mathbf{W}^{(1)}} = \lambda \mathbf{W}^{(1)} ; , ; \frac{\partial s}{\partial \mathbf{W}^{(2)}} = \lambda \mathbf{W}^{(2)} \tag{10}∂W(1)∂s =λW(1),∂W(2)∂s =λW(2)(10)

现在我们可以计算最接近输出层的模型参数的梯度∂ J / ∂ W ( 2 ) ∈ R q × h \partial J/\partial \mathbf{W}^{(2)} \in \mathbb{R}^{q \times h}∂J/∂W(2)∈Rq×h。使用链式法则得出：
∂ J ∂ W ( 2 ) = prod ( ∂ J ∂ o , ∂ o ∂ W ( 2 ) ) + prod ( ∂ J ∂ s , ∂ s ∂ W ( 2 ) ) = ∂ J ∂ o h ⊤ + λ W ( 2 ) (11) \frac{\partial J}{\partial \mathbf{W}^{(2)}}= \text{prod}\left(\frac{\partial J}{\partial \mathbf{o}}, \frac{\partial \mathbf{o}}{\partial \mathbf{W}^{(2)}}\right) + \text{prod}\left(\frac{\partial J}{\partial s}, \frac{\partial s}{\partial \mathbf{W}^{(2)}}\right)= \frac{\partial J}{\partial \mathbf{o}} \mathbf{h}^\top + \lambda \mathbf{W}^{(2)} \tag{11}∂W(2)∂J =prod(∂o∂J ,∂W(2)∂o )+prod(∂s∂J ,∂W(2)∂s )=∂o∂J h⊤+λW(2)(11)

为了获得关于W ( 1 ) \mathbf{W}^{(1)}W(1)的梯度，我们需要继续沿着输出层到隐藏层反向传播。关于隐藏层输出的梯度∂ J / ∂ h ∈ R h \partial J/\partial \mathbf{h} \in \mathbb{R}^h∂J/∂h∈Rh由下式给出：
∂ J ∂ h = prod ( ∂ J ∂ o , ∂ o ∂ h ) = W ( 2 ) ⊤ ∂ J ∂ o (12) \frac{\partial J}{\partial \mathbf{h}} = \text{prod}\left(\frac{\partial J}{\partial \mathbf{o}}, \frac{\partial \mathbf{o}}{\partial \mathbf{h}}\right) = {\mathbf{W}^{(2)}}^\top \frac{\partial J}{\partial \mathbf{o}} \tag{12}∂h∂J =prod(∂o∂J ,∂h∂o )=W(2)⊤∂o∂J (12)

由于激活函数ϕ \phiϕ是按元素计算的，计算中间变量z \mathbf{z}z的梯度∂ J / ∂ z ∈ R h \partial J/\partial \mathbf{z} \in \mathbb{R}^h∂J/∂z∈Rh需要使用按元素乘法运算符，我们用⊙ \odot⊙表示：
∂ J ∂ z = prod ( ∂ J ∂ h , ∂ h ∂ z ) = ∂ J ∂ h ⊙ ϕ ′ ( z ) (13) \frac{\partial J}{\partial \mathbf{z}} = \text{prod}\left(\frac{\partial J}{\partial \mathbf{h}}, \frac{\partial \mathbf{h}}{\partial \mathbf{z}}\right) = \frac{\partial J}{\partial \mathbf{h}} \odot \phi'\left(\mathbf{z}\right) \tag{13}∂z∂J =prod(∂h∂J ,∂z∂h )=∂h∂J ⊙ϕ′(z)(13)

最后，我们可以得到最接近输入层的模型参数的梯度∂ J / ∂ W ( 1 ) ∈ R h × d \partial J/\partial \mathbf{W}^{(1)} \in \mathbb{R}^{h \times d}∂J/∂W(1)∈Rh×d。根据链式法则，我们得到：
∂ J ∂ W ( 1 ) = prod ( ∂ J ∂ z , ∂ z ∂ W ( 1 ) ) + prod ( ∂ J ∂ s , ∂ s ∂ W ( 1 ) ) = ∂ J ∂ z x ⊤ + λ W ( 1 ) (14) \frac{\partial J}{\partial \mathbf{W}^{(1)}} = \text{prod}\left(\frac{\partial J}{\partial \mathbf{z}}, \frac{\partial \mathbf{z}}{\partial \mathbf{W}^{(1)}}\right) + \text{prod}\left(\frac{\partial J}{\partial s}, \frac{\partial s}{\partial \mathbf{W}^{(1)}}\right) = \frac{\partial J}{\partial \mathbf{z}} \mathbf{x}^\top + \lambda \mathbf{W}^{(1)} \tag{14}∂W(1)∂J =prod(∂z∂J ,∂W(1)∂z )+prod(∂s∂J ,∂W(1)∂s )=∂z∂J x⊤+λW(1)(14)

四、训练神经网络

在训练神经网络时，前向传播和反向传播相互依赖。对于前向传播，我们沿着依赖的方向遍历计算图并计算其路径上的所有变量。然后将这些用于反向传播，其中计算顺序与计算图的相反。

以上述简单网络为例：一方面，在前向传播期间计算正则项（式(5)）取决于模型参数W ( 1 ) \mathbf{W}^{(1)}W(1)和W ( 2 ) \mathbf{W}^{(2)}W(2)的当前值。它们是由优化算法根据最近迭代的反向传播给出的。另一方面，反向传播期间参数（式(11)）的梯度计算，取决于由前向传播给出的隐藏变量h \mathbf{h}h的当前值。

因此，在训练神经网络时，在初始化模型参数后，我们交替使用前向传播和反向传播，利用反向传播给出的梯度来更新模型参数。注意，反向传播重复利用前向传播中存储的中间值，以避免重复计算。带来的影响之一是我们需要保留中间值，直到反向传播完成。这也是训练比单纯的预测需要更多的内存（显存）的原因之一。此外，这些中间值的大小与网络层的数量和批量的大小大致成正比。因此，使用更大的批量来训练更深层次的网络更容易导致内存不足（out of memory）错误。