GAM全局注意力机制：保留信息以增强通道与空间的相互作用

GAM全局注意力机制：保留信息以增强通道与空间的相互作用

本文介绍了一种名为GAM（Global Attention Mechanism）的全局注意力机制，该机制通过3D排列和重新设计的子模块，能够在通道和空间方面保留信息，避免了先前方法中由于信息减少和维度分离而导致的全局空间-通道交互丢失的问题。

GAM注意力原理

整体结构

GAM采用了来自CBAM的顺序通道-空间注意力机制，并重新设计了子模块。给定输入特征图$F_{1} \in \mathbb{R}^{C \times H \times W}$，中间状态$F_{2}$和输出$F_{3}$的定义为：

• $F_{2} = M_{c}(F_{1}) \otimes F_{1}$
• $F_{3} = M_{s}(F_{2}) \otimes F_{2}$
  其中$M_{c}$和$M_{s}$分别是通道和空间注意力图，$\otimes$表示元素级乘法。

通道注意力子模块

使用3D排列来保留跨三个维度的信息，然后通过两层MLP（多层感知机）放大跨维度的通道-空间依赖性。MLP是具有压缩比$r$的编码器-解码器结构，与BAM相同。

空间注意力子模块

为了关注空间信息，使用两个卷积层进行空间信息融合，并使用与通道注意力子模块相同的压缩比$r$（与BAM相同）。同时，由于最大池化会减少信息并产生负面影响，所以移除了池化以进一步保留特征图。为了防止参数显著增加，在ResNet50中采用了具有通道打乱的组卷积。

优势

1. 保留信息：通过3D排列和重新设计的子模块，GAM能够在通道和空间方面保留信息，避免了先前方法中由于信息减少和维度分离而导致的全局空间-通道交互的丢失。
2. 放大交互：能够放大“全局”跨维度交互，捕获所有三个维度（通道、空间宽度和空间高度）上的重要特征，从而增强了跨维度的交互能力。
3. 性能提升：在CIFAR-100和ImageNet-1K数据集上的评估表明，GAM稳定地优于其他几种近期的注意力机制，无论是在ResNet还是轻量级MobileNet上，都能提高性能。例如，在ImageNet-1K数据集上，对于ResNet18，GAM以更少的参数和更高的效率优于ABN。

参考文献

• 论文：GAM: Global Attention Mechanism
• 源码：GAM_Pytorch