一文搞懂FFNN（前馈神经网络）

一文搞懂FFNN（前馈神经网络）

前馈神经网络（FFNN）是神经网络模型中最常见的一种，其信息的单向流动和处理机制使其能够学习并逼近复杂的非线性函数。本文将从FFNN的本质、原理和应用三个方面，为您详细介绍这种重要的神经网络模型。

FFNN的本质

前馈神经网络（FFNN）又名多层感知器（MLP），是神经网络模型中最常见的一种。各层神经元分层排列，每个神经元只与前一层的神经元相连，接收前一层的输出并传递给下一层，各层之间没有反馈。

前馈神经网络FFNN的本质：

• 不是一个具体的神经网络模型，而是一类具有特定结构和处理方式的神经网络的总称。
• 其本质在于其信息的单向流动和处理机制。

FFNN的原理

前馈神经网络（FFNN）的网络结构包含多个隐藏层，每个隐藏层由多个神经元组成，这些神经元接收来自前一层的输出，经过一定的加权和处理后，再传递给下一层。单向流动的网络结构使得前馈神经网络能够处理复杂的输入数据，并通过学习来逼近目标函数。

单个神经元的工作原理

神经元通过加权输入、激活函数处理和输出传递，实现信息的非线性转换与传递。

• 输入加权：每个输入信号都关联一个权重，反映了该输入对输出的重要性。神经元接收输入时，会将输入值与对应权重相乘并求和，得到线性组合结果。
• 激活函数处理：神经元对线性组合结果应用激活函数，将线性输出转换为非线性形式，以模拟现实世界中的复杂关系。
• 输出传递：经过激活函数处理后的输出值作为神经元的最终输出，可以传递给其他神经元。

为什么需要那么多神经元

单个神经元只能解决线性二分类问题，而现实世界中的复杂问题都是非线性多分类问题。通过将神经元组合在一起，前馈神经网络能够形成复杂的决策边界，进而处理现实世界中复杂的非线性问题。

FFNN的应用

在Transformer架构中，编码器和解码器中的每一层都包含一个全连接的前馈神经网络。Transformer架构中的FFNN通常包含两个线性变换，中间使用ReLU激活函数进行非线性处理。

前馈神经网络（FFNN）的表达式为：FFN(x) = max(0, xW1 + b1)W2 + b2

通过引入非线性能力和增加模型的表达能力，帮助模型更好地理解序列数据中的局部和全局结构，进一步提升处理序列数据的性能。

本文原文来自火山引擎开发者社区