神经网络中常用的18种激活函数详解
神经网络中常用的18种激活函数详解
激活函数是神经网络中的关键组件，它决定了神经元如何处理输入信号并产生输出。本文详细介绍了18种常用的激活函数，包括它们的数学表达式、图像、应用场景以及各自的优缺点。通过深入理解这些激活函数的特点，读者可以更好地选择和应用它们来优化神经网络的性能。
一：简介
激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，将神经元的输入映射到输出端，目标帮助网络学习数据的复杂模式。
下图展示了一个神经元是如何输入激活函数以及如何得到该神经元最终的输出：
二：为什么要用激活函数
如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，就是最原始的感知机(Perceptron)。
使用激活函数能够给神经元引入非线性因素，使神经网络可以任意逼近任何非线性函数，使深层神经网络表达能力更加强大，于是神经网络就可以应用到众多的非线性模型。
三：激活函数的分类
激活函数可以分为两大类：
- 饱和激活函数：sigmoid、tanh...
- 非饱和激活函数: ReLU、Leaky Relu、ELU、PReLU、RReLU...
首先，我们先了解一下什么是饱和？
反之，不满足以上条件的函数则称为非饱和激活函数。
- Sigmoid函数需要一个实值输入，压缩至[0,1]的范围
- tanh函数需要讲一个实值输入，压缩至[-1, 1]的范围
相对于饱和激活函数，使用非饱和激活函数的优势在于两点：
- 非饱和激活函数能解决深度神经网络（层数非常多）带来的梯度消失问题
- 使用非饱和激活函数能加快收敛速度。
四：常见的几种激活函数
4.0.Softmax函数
- Softmax激活函数的数学表达式为：
下图给出 Softmax 对 输出值 的 映射:
- 函数图像如下:
- Softmax函数常用作“输出层”当激活函数，将输出层的值映射到0-1区间，
将神经元输出构造成概率分布，用于多分类问题，
Softmax激活函数映射值越大，则真实类别可能性越大.
4.1.Sigmoid函数
Sigmoid激活函数的数学表达式为:
(\large f(x) = \dfrac{1}{1+e^{-x}})导数表达式为:
(\large f^{'}(x) = f(x)(1-f(x)))函数图像如下：
Sigmoid 函数在历史上曾非常常用，输出值范围为[0,1]之间的实数。
但是现在它已经实际很少使用。什么情况下适合使用Sigmoid？
Sigmoid 函数的输出范围是 0 到 1。非常适合作为模型的输出函数用于输出一个0~1范围内的概率值，比如用于表示二分类的类别或者用于表示置信度。
梯度平滑，便于求导，也防止模型训练过程出现突变的梯度.
Sigmoid有哪些缺点？
容易造成梯度消失。我们由其导函数图像了解到，
sigmoid的导数都是小于0.25的，那么在进行反向传播时，
梯度相乘 结果会步步趋于0，少有梯度信号 通过 神经元 传到 前面层的梯度更新，
因此这时 前面层的权值 几乎没有更新，这就叫梯度消失。此外，为防止饱和，必须对于权重矩阵的初始化特别留意。
如果初始化权重过大，可能很多神经元得到一个比较小的梯度，
致使神经元不能很好的更新权重提前饱和，神经网络就学习不了。函数输出 如果不是以 0 为中心的，梯度可能会向特定方向移动，导致降低权重更新的效率。
Sigmoid 函数 执行 指数运算，会用到大量计算资源。
4.2.Tanh函数
tanh激活函数的数学表达式为：
(\large f(x) = \dfrac{e^{x} - e^{-x}}{e^{-x} + e^{-x}})
实际上，Tanh函数是 sigmoid 的变形：(\large tanh(x) = 2Sigmoid(2x) - 1)函数图像如下：
与sigmoid不同的是, tanh是“零为中心”的。
因此在实际应用，tanh会比sigmoid更好一些。
但是在饱和神经元的情况下，tanh还是没有解决梯度消失问题。什么情况下适合使用Tanh？
tanh 的输出间隔为 1，并且整个函数以 0 为中心，比 sigmoid 函数更好；
在 tanh 图，负输入将被强映射为负，而零输入被映射为接近零。
Tanh有哪些缺点？
仍然存在梯度饱和的问题
依然进行的是指数运算
4.3.ReLU函数
ReLU激活函数的数学表达式为：
(\large ReLU(x) = max(0,x))ReLU函数图像如下
什么情况下适合使用ReLU？
ReLU解决了梯度消失的问题: 当输入值为正时，神经元不会饱和;
ReLU线性、非饱和的性质，在SGD能够快速收敛
计算复杂度低，不需要进行指数运算
ReLU有哪些缺点？
与Sigmoid一样，其输出不是以0为中心的
Dead ReLU 问题。当输入为负时，梯度为0。
这个神经元及之后的神经元的梯度永远为0, 将不响应任何数据，导致相应参数永远不会被更新。训练神经网络时，一旦学习率没有设置好，第一次更新权重时, 输入是负值, 那么这个含有ReLU的神经节点就会死亡，不会被激活。
所以，要设置一个合适的较小的学习率，来降低这种情况的发生.
4.4.Leaky Relu函数
Leaky Relu激活函数的数学表达式为：
(\large LeakyReLU(x) = max(\alpha x,x))函数图像如下：
什么情况下适合使用Leaky ReLU？
解决ReLU输入值为负时神经元死亡的问题
Leaky ReLU线性、非饱和的性质，在SGD中能够快速收敛
计算复杂度低，不需要进行指数运算
Leaky ReLU有哪些缺点？
函数中的α，需要通过先验知识人工赋值（一般设为0.01）有些类似线性，导致在复杂分类时效果不好。
注意：理论上, Leaky ReLU 有 ReLU 的所有优点,
而且 Dead ReLU 不会有任何问题，
但实际上, 尚未完全证明 Leaky ReLU 总比 ReLU 更好.
4.5.PRelu函数
PRelu激活函数的数学表达式为：
(\large PReLU(\alpha, x) = \begin{cases} \alpha x,\ for \ x < 0 \ x,\ for \ x >= 0 \end{cases})函数图像如下：
PRelu也是解决ReLU的神经元坏死问题.
与Leaky ReLU不同: PRelu负半轴的斜率参数α 是学习得到的，而不是人工设置的恒定值.
4.6.ELU函数
ELU激活函数的数学表达式为：
(\large ELU(\alpha, x) = \begin{cases} \alpha (e^x - 1),\ for \ x <= 0 \ x,\ for \ x > 0 \end{cases})函数图像如下：
与Leaky ReLU和PRelu不同的是，ELU的负半轴是一指数函数, 而不是一条直线.
什么情况下适合使用ELU？
ELU试图将输出均值接近于零, 使正常梯度更接近于单位自然梯度,加快学习速度.
ELU 在较小输入下饱和至负值, 会减少前向传播的变异和信息
ELU有哪些缺点？
计算的时需要计算指数，计算资源用的多。
4.7.SELU函数
SELU激活函数的数学表达式为：
(\large SELU(\alpha, x) = \lambda \begin{cases} \alpha (e^x - 1),\ for \ x <= 0 \ x,\ for \ x > 0 \end{cases})
其中λ = 1.0507 , α = 1.6733函数图像如下：
SELU 允许构建一个映射 g，其性质能够实现 SNN（自归一化神经网络）。SNN 不能通过ReLU、sigmoid 、tanh 和 Leaky ReLU 实现。这个激活函数需要有:
- 负值和正值，以便控制均值；
- 饱和区域（导数趋近于零），以便抑制更低层的较大方差；
- 大于 1 的斜率，以便在更低层中的方差过小时增大方差；
- 连续曲线。后者能确保一个固定点，其中方差抑制可通过方差增大来获得均衡。
通过乘上指数线性单元（ELU）来满足激活函数的这些性质，
而且 λ>1 能够确保正值净输入的斜率大于 1
- SELU是在自归一化网络定义的，通过调整均值和方差来实现内部的归一化。
这种内部归一化比外部归一化更快，这使得网络能够更快得收敛
4.8.Swish函数
Swish激活函数的数学表达式为：
(\large Swish(x) = x * Sigmoid(x))函数图像如下：
Swish无界性有助于防止慢训练期间, 梯度渐近 0 并导致饱和；
同时, 有界性也是有优势的, 因为有界激活函数可有很强的正则化(防止过拟合, 进而增强泛化能力), 并且较大的负输入问题也能解决.Swish在x=0 附近更为平滑而非单调的特性, 增强了输入数据和要学习的权重的表达能力。
4.9.Mish函数
Mish激活函数的数学表达式为：
(\large Mish(x) = x * tanh( ln(1+e^x)))函数图像如下:
Mish的图像与Swish类似, 但要更为平滑，缺点是计算复杂度要更高一些