CBAM注意力机制原理详解及源码解析
创作时间:
作者:
@小白创作中心
CBAM注意力机制原理详解及源码解析
引用
CSDN
1.
https://m.blog.csdn.net/qq_47233366/article/details/137103025
CBAM(Convolutional Block Attention Module)是一种常见的注意力机制,广泛应用于深度学习和计算机视觉领域。本文将详细介绍CBAM的原理和源码实现,帮助读者深入理解这一技术。
CBAM原理详解
CBAM的整体结构如下图所示:
首先,输入特征图(Input Feature)会分别送入Channel Attention Module(通道注意力模块)和Spatial Attention Module(空间注意力模块)。这两个模块会分别生成通道注意力权重和空间注意力权重,最终得到精制特征图(Refined Feature)。
Channel Attention Module
通道注意力模块的结构如下:
具体步骤如下:
- 对输入特征图F进行全局最大池化和全局平均池化,得到两个1 × 1 × C的特征图
- 将这两个特征图送入两个全连接层(MLP)
- 将两个特征图相加并经过sigmoid激活函数,得到通道注意力权重M_c
Spatial Attention Module
空间注意力模块的结构如下:
具体步骤如下:
- 对通道注意力模块的输出特征图F'进行全局最大池化和全局平均池化,得到两个H × W × 1的特征图
- 将这两个特征图在channel维度拼接,得到H × W × 2的特征图
- 进行一次卷积操作,将特征图大小变为H × W × 1
- 经过sigmoid激活函数,得到空间注意力权重M_s
CBAM代码详解
下面是CBAM的完整代码实现:
import torch
import torch.nn as nn
import torch.nn.functional as F
class ChannelAttention(nn.Module):
def __init__(self, in_planes, ratio=16):
super(ChannelAttention, self).__init__()
self.avg_pool = nn.AdaptiveAvgPool2d(1)
self.max_pool = nn.AdaptiveMaxPool2d(1)
self.fc1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)
self.relu = nn.ReLU()
self.fc2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)
self.sigmoid = nn.Sigmoid()
def forward(self, x):
avg_out = self.fc2(self.relu(self.fc1(self.avg_pool(x))))
max_out = self.fc2(self.relu(self.fc1(self.max_pool(x))))
out = self.sigmoid(avg_out + max_out)
return out
class SpatialAttention(nn.Module):
def __init__(self, kernel_size=7):
super(SpatialAttention, self).__init__()
assert kernel_size in (3, 7), 'kernel size must be 3 or 7'
padding = 3 if kernel_size == 7 else 1
self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False)
self.sigmoid = nn.Sigmoid()
def forward(self, x):
avg_out = torch.mean(x, dim=1, keepdim=True)
max_out, _ = torch.max(x, dim=1, keepdim=True)
x = torch.cat([avg_out, max_out], dim=1)
out = self.sigmoid(self.conv1(x))
return out
class CBAM(nn.Module):
def __init__(self, in_planes, ratio=1, kernel_size=7):
super(CBAM, self).__init__()
self.channel_att = ChannelAttention(in_planes, ratio)
self.spatial_att = SpatialAttention(kernel_size)
def forward(self, x):
out = self.channel_att(x) * x
print(self.channel_att(x).shape)
print(f"channel Attention Module:{out.shape}")
out = self.spatial_att(out) * out
print(self.spatial_att(out).shape)
#print(f"Spatial Attention Module:{out.shape}")
return out
if __name__ == '__main__':
# Testing
model = CBAM(3)
input_tensor = torch.ones((1, 3, 224, 224))
output_tensor = model(input_tensor)
print(f'Input shape: {input_tensor.shape})')
print(f'Output shape: {output_tensor.shape}')
运行结果如下:
第一行表示理论部分的特征图M_c,第二行表示F',第三行表示特征图M_s,第四行表示输入,第五行表示CBAM的最终输出。
热门推荐
秋天吃这5种食物最养脾胃!隔天吃一次,气血足了,身体更好了
男方领取生育津贴需要哪些材料?
惠字详细解释
BBA中国战略大调整:奔驰国产GLE,宝马奥迪加速新能源布局
国际金价再创历史新高 关键因素还是特朗普
新疆师范类院校排名及分数线一览表(2025年参考)
海蜇的消费提示
如何选择适合你的笔记本内存条(全面解析内存条的规格和性能指标)
驾照借亲戚代扣分新规定有哪些
拔罐减肥:原理揭秘、方法实操与注意事项
不同琴码材料和厚度如何具体影响小提琴的音色?
周四001荷兰杯:赫拉克勒斯对阵阿尔克马尔,深度解读这场!
各国移民政策差异,了解不同国家的移民政策和要求
几级防水可以洗澡?七级防水是什么标准?
无人机英语术语完全指南:从入门到精通的中英对照表
什么叫阡陌?阡陌:田间小路,古韵悠长!
API文档快速查找指南:五种实用方法助你提升开发效率
钼在工业中的应用范围有哪些?这些应用范围的发展趋势如何?
权力与职位:宰相与丞相的区别及职能解析
沙僧的武器是什么 沙僧装备何武器
银行卡最快冻结方法,一秒冻结银行卡
黄金市场的技术分析方法有哪些?这些方法在实际操作中有何局限性?
如何利用公租房数据库快速找到理想的住房?
地球上的水占地球百分比 水资源是怎么分布的
微通道换热器的优化研究
大明第一悬案:建文帝朱允炆下落之谜,至今600多年依旧无人能解
2025年开工吉日的最佳选择 开工吉日与个人运势的关联
拔火罐吸出来的瘀血,是体内的毒素?
新手化妆攻略:必备单品与技巧详解指南
如何制定高效的内容营销策略?