深入理解LSTM神经网络

深入理解LSTM神经网络

引用

CSDN

1.

https://blog.csdn.net/menc15/article/details/71271566

LSTM（长短期记忆网络）是循环神经网络（RNN）的一种特殊类型，由Hochreiter & Schmidhuber在1997年提出。它通过引入门控机制来解决传统RNN的长期依赖问题，使得模型能够记住长期信息。本文将深入探讨LSTM的核心思想和记忆单元的工作原理。

LSTM核心思想

LSTM最早由Hochreiter & Schmidhuber在1997年提出，设计初衷是希望能够解决神经网络中的长期依赖问题，让记住长期信息成为神经网络的默认行为，而不是需要很大力气才能学会。

LSTM记忆单元

下面是对LSTM单元内各部分的理解：

LSTM的关键是单元状态（cell state），即图中LSTM单元上方从左贯穿到右的水平线，它像是传送带一样，将信息从上一个单元传递到下一个单元，和其他部分只有很少的线性的相互作用。

LSTM通过“门”（gate）来控制丢弃或者增加信息，从而实现遗忘或记忆的功能。“门”是一种使信息选择性通过的结构，由一个sigmoid函数和一个点乘操作组成。sigmoid函数的输出值在[0,1]区间，0代表完全丢弃，1代表完全通过。一个LSTM单元有三个这样的门，分别是遗忘门（forget gate）、输入门（input gate）、输出门（output gate）。

• 遗忘门（forget gate）：遗忘门是以上一单元的输出和本单元的输入为输入的sigmoid函数，为