Sigmoid和Tanh：两种常用的激活函数对比分析

Sigmoid和Tanh：两种常用的激活函数对比分析

引用

CSDN

1.

https://m.blog.csdn.net/weixin_41429382/article/details/144702210

Sigmoid和Tanh是两种常用的激活函数，它们在神经网络中具有不同的特点和应用场景。

定义与输出范围

• Sigmoid函数：其定义为 $ \sigma(x) = \frac{1}{1 + e^{-x}} $，输出范围在 $ (0, 1) $ 之间，通常用于二分类问题的输出层，因为其输出可以被解释为概率值。
• Tanh函数：其定义为 $ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $，输出范围在 $ (-1, 1) $ 之间，通常用于隐藏层，因为其输出以零为中心，有助于数据的居中。

形状与特性

两者都呈S形曲线，但Tanh函数的输出范围更广，且关于原点对称，而Sigmoid函数的输出范围较窄且非零中心。

在输入接近零时，Tanh函数的导数通常比Sigmoid函数的导数更大，这使得Tanh函数在某些情况下收敛速度更快。

优点与缺点

• Sigmoid函数：
• 优点：输出值可以被解释为概率，适用于二分类问题的输出层。
• 缺点：输出非零中心，容易导致梯度消失问题，尤其是在深层网络中。
• Tanh函数：
• 优点：输出以零为中心，有助于数据居中，从而可能提高训练效率；其导数在某些区间内更大，有助于缓解梯度消失问题。
• 缺点：同样存在梯度消失问题，尤其是在极端值附近；计算时涉及更多的指数运算，可能会增加计算复杂度。

适用场景

• Sigmoid函数通常用于输出层，特别是在需要输出概率值的二分类问题中。
• Tanh函数则更适合用于隐藏层，特别是在处理对称性数据或需要数据居中的场景中。

关系与转换

Tanh函数可以通过对Sigmoid函数进行线性变换得到，即 $ \tanh(x) = 2 \cdot \sigma(2x) - 1 $。这种变换使得Tanh函数的输出范围从(0,1)变为(-1,1)，并解决了Sigmoid函数非零中心的问题。

Sigmoid和Tanh函数各有优缺点，选择哪种激活函数需要根据具体的应用场景和问题需求来决定。在实际应用中，由于ReLU及其变体的出现，这两种传统激活函数的使用频率有所下降。