资讯

历史

科技

环境与自然

成长

游戏

财经

文学与艺术

美食

健康

家居

文化

情感

汽车

三农

军事

旅行

运动

教育

生活

星座命理

深度学习——LSTM原理与公式推导

创作时间:

作者:

@小白创作中心

深度学习——LSTM原理与公式推导

引用

CSDN

https://blog.csdn.net/hei653779919/article/details/103338048

LSTM（长短期记忆网络）是深度学习中处理序列数据的重要模型，它解决了传统RNN（循环神经网络）在处理长序列时的梯度消失和梯度爆炸问题。本文将从RNN的基本原理出发，详细推导LSTM的结构和计算过程，帮助读者深入理解这一重要模型。

深度学习——LSTM原理与公式推导

1、 RNN回顾

1.1 RNN神经网络回顾

1.1.1 RNN概述

循环神经网络（RNN）主要用于处理序列式问题，通过隐藏节点之间的相互连接，赋予了整个神经网络的记忆能力。对于RNN中的每一隐藏状态而言，其输入主要包括两个部分：一部分是正常接受输入数据的输入，另一部分是将前一个隐藏状态节点作为下一个节点的输入。

1.1.2 RNN的网络构成图

上图是一个简单的正向传播的RNN网络结构，其中，Xi表示序列输入，中间表示的是隐藏层的节点，Oi表示输出。

1.1.3 RNN的传播公式

对于某一个隐藏层的状态节点S_t而言，其前一个隐藏层的状态节点为S_{t-1}，t时刻的输入为X_t，则计算出来的S_t的状态值为：

S_t = f_w(S_{t-1},X_t)

则s_t时刻的输出o_t为：

O_t = F_v(s_t)

其中f_w对应的是激活函数tanh，f_v对应的softmax函数。

1.1.4 RNN的局限性

距离问题：根据上面的介绍可以知道，RNN中的记忆性是通过隐藏状态节点之间的连接实现的。前一个状态节点作为当前隐藏状态的输入，就将之前的信息输入到了当前的节点之中。但是，根据上面的传播公式，RNN采用的激活函数为tanh，而tanh的将节点的计算结果压缩到了(-1,1)之间，当节点不断的向前传播的时候，这使得从前面传来的信息越来越少。也就是说越远节点的信息对当前节点的贡献度越小。如果切换成其他的大于1的激活函数，通过节点的不断前向传播，也可能造成梯度爆炸的问题。

1.1.6 RNN的改进

多层RNN网络：我们以两层的RNN网络为例，其基本的构成图如下：

上图是具有两层神经网络的RNN，第一层为蓝色，第二层为橘色，每一个输入分别向两层隐藏层的节点进行输入。其中，两个隐藏层的传播方向是相反的。

2、LSTM神经网络

2.1 LSTM神经网络概述

根据上面的介绍我们可以知道，单层的RNN网络单元的记忆能力是有限的，即每一个神经单元，离它越近，对它的贡献度越大。为了解决这种短记忆力的局限性，我们上面提出来多层RNN的概念，下面，我们来介绍另外一个解决距离问题的神经网络。长短时记忆网络(LSTM)网络。

2.2 LSTM神经网络结构

2.2.1 LSTM的神经单元结构

根据上面的LSTM神经单元的结构，我们可以对LSTM的细胞结构有一个大致的了解。每一个LSTM的神经单元是由细胞状态，输入门，遗忘门，输出门三个门所组成的。下面我们逐步对每一个门进行介绍。

2.2.1 输入门

其基本结构如下图：

输入门，顾名思义，就是复制处理当前神经单元的输入信息。整个的输入门包含的是两个部分，左侧是sigmoid激活函数，这个函数是用来决定什么样的输入信息会被更新。也就是忽略掉一定的输入信息。右侧是tanh部分，该部分的主要作用是用来构建出一个新的候选值向量，加入到当前的细胞状态中。

其中sigmoid输出的向量为

I(t) = sigmoid(W_i^TS_{t-1}+U_i^TX_t + B_i)

tanh输出的向量为：

R(t) = tanh(W_r^TS_{t-1} + U_r^TX_t+B_r)

2.2.2 遗忘门

其基本结构如图所示：

遗忘门的主要作用是用来决定当前的状态需要丢弃之前的那些信息。LSTM的通过学习来决定让网络记住那些内容。其主要的计算公式为：

F(t)=sigmoid(W_f^TS_{t-1}+U_f^TX_t+B_f)

2.2.3 细胞状态

所谓的细胞状态，我们可以将其理解为一个存储信息的容器，通过输入门，遗忘门，输出门的过程控制，逐步对容器中的信息进行增变化和输出。其具体结构为：

在每一个神经单元中，细胞状态经历了遗忘门的遗忘过程，输入门的输入过程以及向输出门进行输出信息的过程。计算过程为：

C_t=C_{t-1}*F(t)

C_t = C_t+I(t)*R(t)

2.2.4 输出门

输出门，主要控制的是当前隐状态的输出信息。其基本计算过程为：

O(t)=sigmoid(W_o^TS_{t-1}+U_o^TX_{t}+B_o)

S_t=O(t)*tanh(C_t)

2.3 LSTM前向传播过程总结

输入：C_{t-1}，S_{t-1}，X_t

遗忘门：

net_F(t)=W_f^TS_{t-1}+U_f^TX_t+B_f

F(t)=sigmoid(net_F(t))

细胞状态第一个改变：

C_{t1}=C_{t-1}*F(t)

输入门：

net_I(t)=W_i^TS_{t-1}+U_i^TX_t+B_i

I(t)=sigmoid(net_I(t))

net_R(t)=W_r^TS_{t-1}+U_r^TX_t+B_r

R(t)=tanh(net_R(t))

细胞状态第二次改变：

C_t = C_{t1} + I(t)*R(t)

输出门：

net_O(t)=W_o^TS_{t-1}+U_o^TX_{t}+B_o

O(t)=sigmoid()

S_t=tanh(C_t)*O(t)

2.4 LSTM的反向传播过程

2.4.1 误差计算

现在，我们假设St时刻的总的误差为δ_{S_t}，我们来计算各个门的相关误差

首先计算输出门的误差

\frac{∂δ_{S_t}}{∂O(t)}=tanh(C_t)

且有：

\frac{∂O(t)}{∂net_O(t)}=O(t)*(1-O(t))

则有：

δ_o(t)=\frac{∂δ_{S_t}}{∂net_O(t)}=tanh(C_t)O(t)(1-O(t))

然后计算输入门的误差：

\frac{∂δ_{S_t}}{∂R(t)}=\frac{∂δ_{S_t}}{∂tanh(C_t)}\frac{∂tanh(C_t)}{∂C_t}\frac{∂C_t}{∂R(t)}=\
O(t)*(1-tanh^2(C_t) )*I(t)

则有：

δ_R(t)=\frac{∂δ_{S_t}}{∂net_R(t)}=\frac{∂δ_{S_t}}{∂R(t)}\frac{∂R(t)}{∂net_R(t)}=\
O(t)(1-tanh^2(C_t) )I(t)(1-R^2(t))

同理有：

\frac{∂δ_{S_t}}{∂I(t)}=\frac{∂δ_{S_t}}{∂tanh(C_t)}\frac{∂tanh(C_t)}{∂C_t}\frac{∂C_t}{∂I(t)}=\
O(t)*(1-tanh^2(C_t) )*R(t)

则有：

δ_I(t)=\frac{∂δ_{S_t}}{∂net_I(t)}=\frac{∂δ_{S_t}}{∂R(t)}\frac{∂I(t)}{∂net_I(t)}=\
O(t)(1-tanh^2(C_t) )*R(t)I(t)(1-I(t))

然后是遗忘门的误差：

\frac{∂δ_{S_t}}{∂F(t)}=\frac{∂δ_{S_t}}{∂tanh(C_t)}\frac{∂tanh(C_t)}{∂C_t}\frac{∂C_t}{∂C_(t1)}\frac{∂C_(t1)}{∂F(t)}=\
O(t)(1-tanh^2(C_t) )*C_{t-1}

则有:

δ_F(t)=\frac{∂δ_{S_t}}{∂net_F(t)}=\frac{∂δ_{S_t}}{∂F(t)}\frac{∂F(t)}{∂net_F(t)}=\
O(t)(1-tanh^2(C_t) )*C_{t-1}F(t)(1-F(t))

最后，我们要计算的是关于前一个时刻的误差：

δ_{S_{t-1}}=\frac{∂δ_{S_t}}{∂S_{t-1}}=\frac{∂δ_{S_t}}{∂tanh(C_t)}\frac{∂tanh(C_t)}{∂S_{t-1}}O(t)+\frac{∂δ_{S_t}}{∂O(t)}\frac{{∂O(t)}}{∂S_{t-1}}tanh(C_t)\
=\frac{∂δ_{S_t}}{∂tanh(C_t)}\frac{∂tanh(C_t)}{∂C_t}\frac{∂C_t}{∂S_{t-1}}O(t)+tanh(C_t)\frac{∂δ_{S_t}}{∂O(t)}\frac{{∂O(t)}}{∂net_O(t)}\frac{∂net_O(t)}{∂S_{t-1}}\
=W_fδ_F(t)+W_Iδ_I(t)+W_rδ_R(t)+W_oδ_O(t)