Batch Normalization 批量归一化

Batch Normalization 批量归一化

引用

CSDN

1.

https://m.blog.csdn.net/xu_3333/article/details/143098864

Batch Normalization（批量归一化）是深度学习中一种重要的技术，主要用于加速训练速度并提高深度神经网络的稳定性。它通过标准化网络每一层的输入，使其在每一层都具有相似的分布，进而缓解神经网络训练中的问题，比如梯度消失和梯度爆炸。本文将详细介绍Batch Normalization的核心思想、主要作用及其适用场景。

Batch Normalization的核心思想

在每一层的激活输出上，Batch Normalization 会在训练过程中进行标准化处理，即将每个 mini-batch 数据的输出归一化为均值接近 0、标准差接近 1 的数据。归一化之后，Batch Normalization 还会引入两个可学习的参数，分别是缩放系数 γ 和偏移系数 β，以便模型在需要时可以恢复网络的表达能力。

Batch Normalization的主要作用

1. 加速收敛：通过归一化输入，模型的训练速度可以显著加快，因为标准化的输入减少了权重调整所需的步数。
2. 缓解梯度消失和梯度爆炸：深度网络中，梯度随着层数增加容易消失或爆炸，Batch Normalization 通过保持中间层的输出在较合理的范围内，缓解了这些问题。
3. 使网络对初始权重更不敏感：由于输入数据的归一化处理，网络对权重的初始值变得不太敏感，能够使用较大的学习率进行训练。
4. 某些情况下减少过拟合：Batch Normalization 在一定程度上有正则化效果，因为它在训练时使用 mini-batch 数据进行归一化操作，从而引入了随机性，类似于 Dropout 的效果。

适用场景

1. 卷积神经网络（CNN）：Batch Normalization 可以应用在卷积层的输出上，通常是在卷积操作之后、非线性激活函数之前。
2. 全连接神经网络（Fully Connected Networks）：在全连接层中，Batch Normalization 也常用于层与层之间，标准化每个神经元的激活值。

总结

Batch Normalization 能显著加快网络的训练，增强模型的稳定性，同时缓解梯度消失和梯度爆炸问题。它的引入已成为现代神经网络中不可或缺的一部分，尤其是在深层神经网络的训练中表现出色。