SimAM：轻量级注意力机制，解锁卷积神经网络新潜力【原理讲解及代码】

创作时间:

作者:

@小白创作中心

SimAM：轻量级注意力机制，解锁卷积神经网络新潜力【原理讲解及代码】

引用

CSDN

https://m.blog.csdn.net/xiaoh_7/article/details/137016582

SimAM：轻量级、无参数的卷积神经网络注意力机制

一、摘要

注意力机制在卷积神经网络 (CNN) 中扮演着越来越重要的角色，它能够帮助模型聚焦于图像的关键区域，提升模型性能。然而，现有的注意力机制通常需要引入额外的参数，增加模型复杂度和计算成本。

SimAM 是一种轻量级、无参数的卷积神经网络注意力机制，它通过计算特征图的局部自相似性来生成注意力权重。SimAM 不需要引入任何额外参数，并且可以有效地提升 CNN 的性能。

表 1：多种注意力机制的比较

二、原理介绍

SimAM 的核心思想是基于图像的局部自相似性。在图像中，相邻像素之间通常具有较强的相似性，而远距离像素之间的相似性则较弱。SimAM 利用这一特性，通过计算特征图中每个像素与其相邻像素之间的相似性来生成注意力权重。

图 1：SimAM——每个神经元被分配一个唯一的权重

SimAM 的计算公式如下：

w_i = \frac{1}{k} \sum_{j \in N_i} s(f_i, f_j)

其中：

$w_i$ 是第i个像素的注意力权重
$k$ 是归一化常数
$N_i$ 是第i个像素的相邻像素集合
$s(f_i, f_j)$ 是第i个像素和第j个像素之间的相似性

SimAM 使用了一种简单而有效的相似性度量方法，即欧几里得距离：

s(f_i, f_j) = -\left\| f_i - f_j \right\|_2^2

三、代码示例

SimAM 可以很容易地嵌入到现有的 CNN 模型中。以下是一个简单的示例：

import torch
import torch.nn as nn

class simam_module(torch.nn.Module):
    def __init__(self, channels = None, e_lambda = 1e-4):
        super(simam_module, self).__init__()
        self.activaton = nn.Sigmoid()
        self.e_lambda = e_lambda

    def __repr__(self):
        s = self.__class__.__name__ + '('
        s += ('lambda=%f)' % self.e_lambda)
        return s

    @staticmethod
    def get_module_name():
        return "simam"

    def forward(self, x):
        b, c, h, w = x.size()
        
        n = w * h - 1
        x_minus_mu_square = (x - x.mean(dim=[2,3], keepdim=True)).pow(2)
        y = x_minus_mu_square / (4 * (x_minus_mu_square.sum(dim=[2,3], keepdim=True) / n + self.e_lambda)) + 0.5
        return x * self.activaton(y)