最全总结！标注数据不够时怎么训练目标检测网络？

最全总结！标注数据不够时怎么训练目标检测网络？

在目标检测领域，当标注数据稀缺时，如何训练出高性能的检测模型是一个重要挑战。本文综述了低样本目标检测（LSOD）领域的最新进展，详细介绍了单样本目标定位（OSOL）、少样本目标检测（FSOD）和零样本目标检测（ZSOD）三种场景，并对相关方法进行了系统性的总结和分析。

1. LSOD背景与分类

目标检测网络在标注数据充足的情况下表现优异，但当数据稀缺时容易过拟合。因此，将现有模型泛化到标注数据不足的场景成为重要的研究方向。LSOD主要包括以下三种场景：

• 一次性目标定位（OSOL）：每个目标类别都有一个注释图像样本
• 少样本目标检测（FSOD）：每个目标类别有少量注释图像样本
• 零样本目标检测（ZSOD）：根据语义信息而非图像样本区分不同类别

FSOD和OSOL主要区别在于：

1. FSOD需要预测测试图像中潜在对象的正确类别
2. OSOL为每个测试图像独立采样支持图像，而FSOD仅为所有测试图像采样一次支持图像
3. 在FSOD中，每个类别的标记样本数量可以大于一个

2. LSOD方法分类

LSOD方法主要分为两类：

• 元学习方法：采用"学习如何学习"的机制，在基础数据集上定义多个少样本任务来训练模型，使其能够快速适应真实的少样本任务
• 迁移学习方法：通过在基础数据集上训练模型来学习良好的图像表示，然后用于新数据集

3. 主流基准总结

4. 单样本目标检测（OSOL）

OSOL方法主要采用Faster R-CNN框架，通过整体特征聚合将查询图像和支持图像的特征图融合。具体实现方式包括基于连接的方法和基于注意力的方法。

基于连接的整体特征聚合方法

• OSCD：将查询特征图与支持特征图的合并嵌入向量连接
• SiamMask：将查询特征映射与查询特征映射和支持特征映射的合并嵌入向量之间的绝对差值连接
• FOC·OSOL：在SiamMask生成的积分特征图上应用卷积块

基于注意力的整体特征聚合方法

• 一些方法（如CoAE、BHRL、ABA OSOL）使用非局部操作
• 一些方法（如AIT、CAT、SaFT）使用Transformer来捕获查询和支持图像之间的注意力

5. 少样本目标检测（FSOD）

FSOD方法主要采用两阶段迁移学习框架，包括基础训练阶段和少量微调阶段。特征向量的聚合方式包括逐元素乘法、逐元素减法和级联运算。

6. 零样本目标检测（ZSOD）

ZSOD方法主要通过视觉-语义映射将视觉特征投影到语义空间，并与类别语义嵌入进行比较以进行分类。主流方法包括快速R-CNN和YOLO式模型。

7. 总结与未来工作

增强深度目标检测器以从很少甚至零样本中快速学习对于未来的目标检测具有重要意义。这篇文章对低样本目标检测（LSOD）进行了全面的研究，包括单样本目标定位（OSOL）、少样本目标检测（FSOD）和零样本目标检测（ZSOD）。希望这项调查能够促进未来对LSOD的研究。