EfficientDet中的BiFPN技术详解与代码实现

EfficientDet中的BiFPN技术详解与代码实现

引用

CSDN

1.

https://m.blog.csdn.net/qq_40938217/article/details/146024965

BiFPN（加权双向特征金字塔网络）是EfficientDet中的关键组件，通过双向特征融合和加权特征融合等优化策略，有效提升了目标检测的性能。本文将详细介绍BiFPN的工作原理及其在EfficientDet中的应用，并提供相应的代码实现。

多尺度特征表示

对象检测的一个主要挑战是有效地表示和处理多尺度特征。作为开创性工作之一，特征金字塔网络（FPN）[23]提出了一种自上而下的方法来结合多尺度特征。后续研究如PANet [26]、STDL [43]、M2DET [42]和G-FRNET [2]等，进一步探索了多尺度特征融合的方法。NAS-FPN [10]虽然通过神经架构搜索实现了更好的性能，但其搜索过程需要大量计算资源，且生成的架构复杂难懂。

BiFPN

传统FPN存在的问题

传统的FPN在目标检测任务中广泛用于多尺度特征融合，但存在以下缺陷：

1. 单向信息流限制：传统FPN采用自上而下的信息传递方式，低层的高分辨率特征不能直接影响高层的低分辨率特征，高层特征的信息也不能直接向底层回流。
2. 特征加权不均衡：FPN直接对不同层次的特征进行相加，但不同分辨率的特征信息贡献程度不同，直接相加可能导致某些层次的特征被过度强化或削弱。
3. 计算效率低：NAS-FPN虽然可以自动搜索最优的FPN结构，但搜索过程计算开销巨大，且最终生成的架构复杂难以解释。

BiFPN的优化策略

BiFPN通过以下方式改进FPN：

• 引入双向信息流：不仅采用传统的自上而下信息流，还增加了自下而上的路径，增强不同层级特征的交互。
• 删除单输入节点：对于仅有一个输入的特征节点，直接删除，以减少计算冗余。
• 增加跨尺度残差连接：如果某个特征层的输入和输出在相同尺度上，增加额外的连接，以增强信息流动。
• 加权特征融合：为每个融合的特征分配一个可学习的权重参数，让网络自动学习每个层级特征的重要性，而不是简单求和。

EfficientDet的复合缩放策略

EfficientDet通过复合缩放策略，在网络深度、分辨率和网络宽度等方面进行优化，以提高模型效率。具体细节可参考原论文。

BiFPN的代码实现

class BiFPN_Concat(nn.Module):
    def __init__(self, dimension=1):
        super(BiFPN_Concat, self).__init__()
        self.d = dimension
        self.w = nn.Parameter(torch.ones(2, dtype=torch.float32), requires_grad=True)
        self.epsilon = 0.0001

    def forward(self, x):
        w = self.w
        weight = w / (torch.sum(w, dim=0) + self.epsilon)  # 将权重进行归一化
        # Fast normalized fusion
        x = [weight[0] * x[0], weight[1] * x[1]]
        return torch.cat(x, self.d)

这段代码实现了BiFPN中的特征融合部分，通过可学习的权重参数实现加权特征融合。