论文神器：即插即用归一化模型！无缝插入助力涨点！

创作时间:

作者:

@小白创作中心

论文神器：即插即用归一化模型！无缝插入助力涨点！

引用

CSDN

https://blog.csdn.net/weixin_42645636/article/details/139933463

归一化是深度学习和机器学习中一个非常重要的步骤，它通过对数据或网络层的输出进行变换，使其符合特定的标准，有效缓解不同特征间由于量纲和数值范围差异造成的影响，加速模型的收敛速度，并提高模型精度。
大多数归一化方法的设计思路都是即插即用的，以适应不同的训练策略和数据特性。这种设计能帮助我们有效加速训练过程并提升模型性能，而不需要对网络结构进行重大调整。也就是说我们可以直接在现有模型中替换相应的层，这样写论文的时候能省很多功夫。
为方便小伙伴们集成和使用，加速论文进度，挑选了10个即插即用的归一化模型及其变体，有2024年最新的，也有经典必备的，已开源的代码也附上~

BCN: Batch Channel Normalization for Image Classification

方法：论文介绍了一种新的归一化技术，称为Batch Channel Normalization（BCN），用于图像分类任务。BCN的目标是克服现有归一化方法的局限性，并充分利用BN和LN的优势，无缝应用于各种版本的CNN（卷积神经网络）或Vision Transformer架构。

创新点：

批通道归一化（Batch Channel Normalization，BCN）：与以往的归一化技术不同，BCN旨在沿着（C，N，H，W）轴进行归一化。BCN首先沿着（C，H，W）轴计算层输入的均值（µ1）和方差（σ21），然后沿着（L，H，W）轴计算均值（µ2）和方差（σ22），最后根据自适应参数组合归一化的输出。

通过将BCN应用于几种流行的模型（ResNet，DenseNet，Vi-sion Transformer [5]和BYOL）的图像分类任务中，实验证明BCN在新模型（如ViT）中的性能表现更好。

Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework

方法：论文介绍了一种称为特征凝聚（feature condensation）的现象。从特征凝聚的角度出发，提出了一种统一的方法，即统一批量归一化（Unified Batch Normalization，UBN）框架。UBN通过设置一个预定义的阈值来纠正特征凝聚，改善特征表示，并对BN的每个组件进行修正，显著提高测试性能和训练效率。

创新点：

作者在第一阶段引入了一个简单的特征凝聚阈值，用于在训练过程中选择统计数据，有效地减轻了特征凝聚问题，并促进了更动态和适应性的学习路径。

为了改善BN的整体性能，作者提出了一个统一的框架，包括对BN各个组件的修正。这个框架可以应用于不同的训练场景。

AFN: Adaptive Fusion Normalization via Encoder-Decoder Framework

方法：论文研究了一种新的归一化方法，称为自适应融合归一化（Adaptive Fusion Normalisation，AFN）。研究者通过在批次之间计算统计数据来改进批归一化（Batch Normalisation，BN）方法，提出了AFN方法。AFN方法在图像分类任务和领域泛化任务中表现出比之前的归一化方法更好的性能。