深度学习中常见的权重初始化方法

深度学习中常见的权重初始化方法

引用

CSDN

1.

https://blog.csdn.net/qq_43556680/article/details/144700333

在深度学习中，权重初始化是一个至关重要的步骤，它直接影响模型的训练速度、稳定性和最终性能。本文将详细介绍7种常见的权重初始化方法，包括它们的优缺点和适用场景。

1. 零初始化（Zero Initialization）

零初始化是最简单的权重初始化方法，即将所有权重初始化为零。

优点：

• 实现简单，易于理解。

缺点：

• 这种初始化方法会导致所有神经元在每一层都学习到相同的特征。因为对称的权重会导致反向传播时梯度相同，使得所有神经元在训练过程中没有差异化，从而丧失模型的学习能力。

2. 随机初始化（Random Initialization）

随机初始化方法将权重随机初始化为一个较小的随机数，通常从均匀分布或正态分布中采样。

优点：

• 可以打破对称性，避免零初始化带来的问题。

缺点：

• 需要小心选择随机数的范围，太大可能导致梯度爆炸，太小则可能导致梯度消失。

3. Xavier 初始化（Xavier Initialization）

Xavier 初始化方法根据输入和输出的节点数来选择权重的初始值范围，使得网络中每一层的输入和输出的方差保持一致，避免梯度爆炸或消失。

公式：

• 若使用均匀分布：
• 若使用正态分布：

优点：

• 在深层网络中，Xavier 初始化可以平衡前向和反向传播中的信号，从而加速收敛。
• 适用于Sigmoid 和 tanh激活函数的网络。

缺点：

• 对于激活函数是ReLU的网络，Xavier 初始化可能不够有效。

4. He初始化（He Initialization）

He 初始化是专门为 ReLU 及其变体（如Leaky ReLU）激活函数设计的初始化方法。它在Xavier初始化的基础上，将方差放大，以适应ReLU激活函数。

公式：

• 若使用正态分布：
• 若使用均匀分布：

优点：

• 更适合ReLU激活函数，能有效避免梯度消失问题。

缺点：

• 对于其他非ReLU激活函数，可能不如Xavier初始化效果好。

5. LeCun 初始化（LeCun Initialization）

LeCun 初始化是一种专门为特定激活函数（如 tanh 和 Leaky ReLU）设计的权重初始化方法。它的目标是确保在前向传播和反向传播中，网络中信号的方差能够保持稳定，从而避免梯度消失或爆炸问题。

公式：
LeCun 初始化的方法是基于正态分布对权重进行初始化，其标准差与输入神经元的数量 相关

优点：

• 能有效保持网络中信号的方差一致，适用于特定的激活函数。

缺点：

• 对于其他激活功能效果有限。

6. Orthogonal初始化(Orthogonal Initialization)

Orthogonal 初始化是将权重矩阵初始化为一个正交矩阵。正交矩阵的特性使得其转置矩阵也是其逆矩阵，从而在反向传播中能够很好地保持信号的流动。

优点：

• 能有效避免梯度消失和梯度爆炸问题，特别适用于深度神经网络。

缺点：

• 计算复杂度较高，适用范围有限。

7. Variance Scaling 初始化

Variance Scaling 初始化是一种基于方差缩放的权重初始化方法。它是为了解决在深度网络中，由于不当的权重初始化导致的梯度消失或梯度爆炸问题。

Variance Scaling 初始化通过缩放初始化权重的方差，使得每一层的输出方差保持一致，从而稳定模型的训练过程。

Variance Scaling 初始化通常使用以下公式定义：

其中：

• W 是初始化后的权重矩阵。
• 是当前层的输入单元数（即输入特征的数量）。
• 是一个可调参数，用于缩放权重的方差。常见的缩放参数有 1、2、 等。
• 表示均值为 0、方差为 的正态分布。

优点：

• 通用性强，Variance Scaling 初始化是一种非常通用的初始化方法，可以适应不同的网络结构和激活函数。
• 避免梯度消失/爆炸，通过合适的方差缩放，Variance Scaling 初始化能够有效避免梯度消失或爆炸问题。

缺点：

• 参数选择复杂，需要根据具体的激活函数和网络结构选择合适的缩放因子，这增加了使用的复杂性。