神经网络中激活函数介绍、优缺点分析

神经网络中激活函数介绍、优缺点分析

引用

CSDN

1.

https://blog.csdn.net/qq_44886601/article/details/141817915

神经网络中的激活函数是引入非线性模型的关键组件，它能够提升模型的泛化能力。本文将详细介绍几种常用的激活函数，包括它们的定义、特点以及各自的优缺点。

1. 激活函数定义

激活函数是神经网络模型中的一种非线性函数，它将输入的加权和转换为输出值。激活函数通常被插入到神经元的计算中，以帮助网络模型学习非线性模式。

常见的激活函数有：

1. Sigmoid函数（也称为逻辑函数）：将输入压缩到0和1之间的连续输出。
2. 双曲正切函数（tanh函数）：将输入压缩到-1和1之间的连续输出。
3. ReLU函数（修正线性单元）：将负值置为0，保留正值。
4. Leaky ReLU函数：与ReLU函数类似，但在负值上有一个小的斜率。
5. Softmax函数：用于多分类问题，将一组值转换为概率分布。

选择适合的激活函数取决于具体的任务和数据集。不同的激活函数可以引入不同的非线性效果，有助于提高模型的表达能力和性能。

2. 常见激活函数

2.1 Sigmoid

Sigmoid 激活函数是一种常用于神经网络中的激活函数，它将输入值映射到一个 (0, 1) 之间的范围内。输入值越接近 ∞ ，它就越接近 +1 ，同样，输入值越接近 –∞ ，它就越接近 0 。

优点：

• Sigmoid 函数将任意输入值映射到 (0, 1) 之间，适合用来表示概率。因此，它常用于神经网络的输出层，尤其是在二分类问题中。
• Sigmoid 函数是平滑且连续的，这意味着它在整个输入范围内都有定义和导数。这种性质使得它在优化过程中很容易计算梯度。

缺点：容易造成梯度消失

Sigmoid 函数的导数如下：

从图中可以看出，梯度值在一定范围（-5.0 到 5.0）之间显着，并且随着进一步增大，图形变得更加平坦。这表明对于 > 5 或 < -5 的值，该函数将具有较小梯度并最终接近零。这就是神经网络停止学习的地方，因此得名梯度消失。

2.2 Tanh

Tanh（双曲正切）函数与 Sigmoid 函数类似，但将输入值映射到 -1 和 1 之间的范围内。

优点：

• Tanh 函数将输入值映射到 (-1, 1) 之间。这与 Sigmoid 函数的 (0, 1) 范围不同，有助于减少网络的偏置效应。
• 它通常用在神经网络的隐藏层中，因为它的值在 -1 到 1 的范围内，因此数据的平均值接近 0。这有助于使数据居中并使下一层的学习更容易。

缺点：容易造成梯度消失

Tanh 函数的导数如下：

与 Sigmoid 函数类似，Tanh 函数也面临着梯度消失的问题。

2.3 ReLU

ReLU（修正线性单元）激活函数是现代深度学习中最常用的激活函数之一。

优点：

• ReLU 函数的计算非常简单，只需要比较输入值和 0 的大小，计算复杂度低，适合大规模神经网络的训练。
• ReLU 在正半轴上的梯度恒为 1，避免了梯度消失问题，有助于深层网络的有效训练。这使得它比 Sigmoid 和 Tanh 函数更适合用于深层神经网络。
• 由于 ReLU 会将负值部分截断为 0，导致很多神经元在给定的输入下不被激活。这种稀疏性有助于减少模型的复杂度和过拟合风险。

缺点：影响网络拟合

ReLU 函数的导数如下：

如图，负数侧使梯度值为 0。因此，某些神经元的权重和偏差在反向传播过程中不会更新。这会导致永远不会被激活的“死亡神经元”。所有负输入值立即变为 0，这会影响网络拟合和训练数据的能力。

2.4 Leaky ReLU

Leaky ReLU 激活函数是 ReLU 函数的一个变体，用于解决 ReLU 函数的 “Dying ReLU” （死亡神经元）问题。Leaky ReLU 在负半轴上引入了一个小的斜率，以确保神经元在接收到负输入时仍然有非零输出。

注意：这里的0.1可以是任何值α，被称为参数化 ReLU

参数化 ReLU（PReLU）是一种改进的 ReLU 激活函数，通过引入可学习的参数来调整负半轴的斜率，从而增强模型的表达能力。它解决了图左半部分梯度减小到 0 的挑战。该函数在函数的负输入上添加斜率，即参数α 。参数 ReLU 中的反向传播涉及找出最合适的 α 值。

缺点：PReLU 为每个神经元引入一个额外的参数 α，这会增加模型的参数数量，特别是在大型神经网络中，可能导致模型过拟合的风险增加。如果训练数据不足，过多的参数可能会降低模型的泛化能力。

2.5 ELU

ELU（指数线性单元）激活函数也是 ReLU 激活函数的变体，其主要目标是修改函数负部分的斜率。与 Leaky ReLU 和 参数化 ReLU 不同，ELU 使用对数曲线来转换负值。

优点：

• ELU 逐渐平滑，直到输出为 -α ，而 ReLU 则很尖锐。
• 通过引入负值的对数曲线来消除死亡 ReLU 问题，从而帮助神经网络将权重和偏差引导到正确的路径上。

缺点：

• 相比于 ReLU 和 Leaky ReLU 等简单激活函数，ELU 需要计算指数函数，这增加了计算复杂度和计算时间，特别是在深层网络和大规模数据集上。