EfficientDet：可扩展且高效的物体检测模型
EfficientDet：可扩展且高效的物体检测模型
EfficientDet是一种高效的目标检测模型，通过引入加权双向特征金字塔网络（BiFPN）和复合缩放方法，在保持高精度的同时大幅降低了计算成本。本文详细介绍了EfficientDet的关键创新点及其在目标检测任务中的优异表现。
摘要
本文研究了目标检测网络架构的设计选择，提出了两种关键优化来提升效率：一是加权双向特征金字塔网络（BiFPN），实现简单快速的多尺度特征融合；二是复合缩放方法，同时均匀调整主干网络、特征网络及边界框/类别预测网络的分辨率、深度和宽度。基于这些优化与更好的主干网络，作者开发了一种新的目标检测器系列EfficientDet，在各种资源限制下均表现出比现有技术更高的效率。例如，EfficientDet-D7在COCO测试集上达到55.1的AP，参数量为77M，计算量为410B FLOPs，比之前的检测器小4到9倍，计算量减少13到42倍。此外，EfficientDet在语义分割任务上也表现优异，在Pascal VOC数据集上的mIOU达到81.74%，比DeepLabV3+少用9.8倍的计算量。
研究问题
- 如何在保持较高准确率的同时提高目标检测模型的效率？
- 是否可以通过加权双向特征金字塔网络（BiFPN）实现更有效的多尺度特征融合？
- 对于不同资源约束条件下的目标检测模型，如何通过复合缩放方法同时优化模型的分辨率、深度和宽度？
研究方法
- 实验研究：提出了一种加权双向特征金字塔网络（BiFPN），通过引入可学习权重实现多尺度特征融合，并通过重复应用自顶向下和自底向上的特征融合来优化模型性能。
- 比较研究：将提出的EfficientDet模型与现有的一系列目标检测模型（如YOLOv3、RetinaNet、NAS-FPN等）进行对比，验证其在参数量、浮点运算次数（FLOPs）以及检测精度方面的优越性。
- 混合方法研究：结合了EfficientNet强大的主干网络和BiFPN的高效特征融合技术，同时提出了复合缩放方法（Compound Scaling），统一调整网络的宽度、深度和分辨率，以优化模型的效率和准确性。
- 系统分析：通过对不同设计选择（如主干网络、特征融合方式、类别/边界框网络等）进行消融实验，系统分析了各组件对模型性能的影响，并展示了BiFPN和复合缩放方法对提升模型效率的重要作用。
研究思路
- 理论框架与模型
论文围绕高效的物体检测任务，提出了一种新的神经网络模型——EfficientDet。该模型采用了双向特征金字塔网络（BiFPN）作为特征提取和融合的基础，同时引入了复合缩放（compound scaling）的方法。这些框架的核心理论基础是通过在模型结构上进行优化，达到更高的检测精度和更低的计算复杂度。
- 双向特征金字塔网络（BiFPN）：该网络改善了传统的特征融合方法，允许在不同尺度之间进行有效的特征融合。BiFPN采用可学习的权重来动态调整各特征的重要性，同时引入了自上而下和自下而上的多尺度特征融合思想。
- 复合缩放：旨在同时优化骨干网络、特征提取网络和分类/框架预测网络的深度、宽度和输入分辨率。复合缩放方法与传统的单维度缩放方法相比，能够在多个资源约束条件下灵活调整网络结构。
- 研究方法
论文采用的研究方法主要包括以下几个方面：
- 多尺度特征融合：通过对比不同的特征融合方法（如传统的FPN、PANet、NAS-FPN等），提出了BiFPN以解决传统方法在特征融合时的单向信息流和特征不平衡问题。
- 模型缩放方法的设计：提出了复合缩放策略，通过实验确定各维度的最佳缩放因子，并应用于各类网络（骨干、特征网络、分类网络等），Systematically 进行设计和测试，以确立模型在不同资源约束下的表现。
- 模型训练和优化：在训练过程中使用了一系列标准的训练策略，如使用SGD优化器、学习率调整、批量归一化等，以提高训练的稳定性和模型的性能。
结论
通过组合BiFPN结构的创新与复合缩放方法，EfficientDet展示了在物体检测任务中实现高效性的可能性。这些创新为未来的物体检测模型设计提供了新的思路和参考，使得深度学习模型在更广泛的实时和资源受限的应用场景中更加可行。
BiFPN
多尺度特征融合旨在聚合不同分辨率下的特征。形式化地，给定一个多尺度特征列表：P ⃗ i n = ( P l 1 i n , P l 2 i n , . . . ) \vec{P}^{in}=(P_{l_{1}}^{in},P_{l_{2}}^{in},...)Pin=(Pl1 in ,Pl2 in ,...)，其中P l i i n P_{l_i}^{in}Pli in 表示第i ii级的特征，我们的目标是找到一个变换f ff，它可以有效地聚合不同的特征，并输出一组新的特征：P ⃗ o u t = f ( P ⃗ i n ) \vec{P}^{out}=f(\vec{P}^{in})Pout=f(Pin)。作为一个具体的例子，图 2 (a) 展示了传统的自下而上的金字塔结构 [23]。它采用从第三到第七层的输入特征P ⃗ i n = ( P 3 i n , . . . P 7 i n ) \vec{P}^{in}=(P_{3}^{in},...P_{7}^{in})Pin=(P3in ,...P7in )，其中P i i n P_i^{in}Piin 表示具有分辨率1 / 2 i 1/2^i