深度学习之激活函数——Tanh

深度学习之激活函数——Tanh

引用

CSDN

1.

https://m.blog.csdn.net/m0_61787307/article/details/138860739

在深度学习中，激活函数的选择对模型的性能有着至关重要的影响。Tanh（双曲正切）函数作为常用的激活函数之一，因其独特的性质而在许多场景中优于Sigmoid函数。本文将详细介绍Tanh函数的数学表达式、图像特征及其优缺点，并与Sigmoid函数进行对比分析。

Tanh函数简介

双曲正切函数（tanh），其图像与sigmoid函数十分相近，相当于sigmoid函数的放大版。在实际的使用中，tanh函数要优先于sigmoid函数。

函数表达式

$$
tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}
$$

其定义域为$\mathbb{R}$，值域为$(-1, 1)$。

函数图像

函数特性

由于tanh激活函数与sigmoid激活函数十分相似，所以两者在特性方面有很多共同点。实际上，tanh激活函数相当于sigmoid函数的平移：

$$
tanh(x) = 2sigmoid(2x) - 2
$$

优点

1. 以0为对称中心，收敛速度快于sigmoid，提高了权重更新的效率
2. 部分解决了梯度消失的问题，因为其导数值更大

缺点

1. 与sigmoid一样，tanh函数具有容易饱和的特点，没有根治梯度消失的问题
2. 计算复杂度较高，幂运算更加复杂

通过对比不难发现，tanh的导数值要远远大于sigmoid的导数值，这使得tanh在一定程度上缓解了梯度消失问题，但并未完全解决。因此，在实际应用中，还需要结合其他方法（如ReLU函数）来进一步优化模型性能。