神经网络为什么要用 ReLU 增加非线性？

神经网络为什么要用 ReLU 增加非线性？

引用

CSDN

1.

https://m.blog.csdn.net/u012935445/article/details/146036469

在神经网络中，ReLU（Rectified Linear Unit）作为最常用的激活函数之一，其引入非线性的作用至关重要。本文将深入探讨为什么神经网络需要非线性，ReLU的具体定义及其优势，并介绍其几种常见的变体形式。

1. 为什么需要非线性？

1.1 线性模型的局限性

如果神经网络只使用线性激活函数（如线性函数），那么无论网络有多少层，整个模型仍然是一个线性模型。这是因为多个线性变换的组合仍然是线性变换：

这样的模型无法学习复杂的非线性关系，表达能力非常有限。

1.2 非线性激活函数的作用

非线性激活函数（如 ReLU、Sigmoid、Tanh）能够打破线性关系，使神经网络能够学习复杂的非线性模式。通过堆叠多个非线性层，神经网络可以逼近任意复杂的函数。

2. ReLU 的定义

ReLU 的定义非常简单：

• 当输入 x>0 时，输出 x。
• 当输入 x≤0 时，输出 0。

3. ReLU 的优势

3.1 缓解梯度消失问题

• 在 Sigmoid 或 Tanh 激活函数中，当输入值较大或较小时，梯度会趋近于零，导致梯度消失问题。
• ReLU 的梯度在正区间恒为 1，避免了梯度消失问题，使得深层网络的训练更加稳定。

3.2 计算高效

• ReLU 的计算非常简单，只需要比较和取最大值操作，计算速度远快于 Sigmoid 和 Tanh。
• 在训练大规模神经网络时，ReLU 的高效计算能够显著加快训练速度。

3.3 稀疏激活

• ReLU 会将负值输出为零，这使得神经网络的激活变得稀疏。
• 稀疏激活可以减少参数之间的依赖性，提高模型的泛化能力。

4. ReLU 的变体

尽管 ReLU 有很多优点，但它也存在一些问题（如神经元“死亡”问题）。因此，研究者提出了多种 ReLU 的变体：

4.1 Leaky ReLU

在负区间引入一个小的斜率，避免神经元“死亡”：

其中 α 是一个小的正数（如 0.01）。

4.2 Parametric ReLU (PReLU)

将 Leaky ReLU 的斜率 α 作为可学习参数，动态调整负区间的输出。

4.3 Exponential Linear Unit (ELU)

在负区间引入指数函数，平滑过渡：

5. ReLU 的代码实现

以下是 ReLU 及其变体的 PyTorch 展示：

import torch
import torch.nn as nn

# 标准 ReLU
relu = nn.ReLU()
x = torch.tensor([-1.0, 2.0, -3.0, 4.0])
print(relu(x))  # 输出: tensor([0., 2., 0., 4.])

# Leaky ReLU
leaky_relu = nn.LeakyReLU(negative_slope=0.01)
print(leaky_relu(x))  # 输出: tensor([-0.0100,  2.0000, -0.0300,  4.0000])

# ELU
elu = nn.ELU(alpha=1.0)
print(elu(x))  # 输出: tensor([-0.6321,  2.0000, -0.9502,  4.0000])