CBNet v2论文解读：一种新的复合骨干网络架构
CBNet v2论文解读：一种新的复合骨干网络架构
CBNet v2是CBNet系列的最新版本，它在CBNet v1的基础上进行了多项创新，包括新的辅助训练方法、连接策略和剪枝策略。这些改进不仅提升了模型的性能，还在泛化性和兼容性方面取得了显著进展。本文将详细介绍CBNet v2的核心创新及其实验结果。
本文的创新点
CBNet v2在CBNet v1的基础上，提出了一种新的辅助训练方法、一个更好的连接策略以及一个剪枝策略，综合这些得到了一个新的骨干网络CBNet v2。除了取得了更好的性能表现，在泛化性和兼容性（和模型集成以及特征增强网络如DCN和HRNet的兼容）都得到了提升。
方法介绍
CBNet v1的介绍见CBNet（AAAI 2020）论文解析-CSDN博客，CBNet检测模型的整体结构如图1所示。这里只介绍和CBNet v1不一样的地方。
首先是并行backbone之间的连接方式，如图2所示，CBNet v1中只介绍了前4种，本文引入了一种新的连接FCC集全连接的方式如图2(e)所示。
Auxiliary Supervision
本文针对Assistant Backbone提出了辅助监督，如图4(b)所示。
在CBNet v1中，只有Lead Backbone的输出会经过FPN和检测head。虽然各个backbone是并行的，但后一个backbone通过和前一个backbone之间的相邻连接加深了网络，可能会引入额外的优化困难。在图像分类中，通过deep supervision引入了中间特征层的辅助classifier，以提高非常深的网络的收敛性。为了更好的训练基于CBNet的检测模型，作者提出通过监督辅助neck和head来生成assistant backbones的初始结果，来提供额外的正则化。
对于每个assistant backbone的输出都经过辅助neck和head，得到的输出与ground truth计算损失。注意辅助neck和head与lead backbone的主neck和head共享参数。在推理阶段，我们抛弃辅助监督分支，只利用lead backbone的输出，因此辅助监督并不影响推理速度。
Pruning Strategy for CBNet
这里的剪枝策略和CBNet v1中的加速版本是一样的，都是删去较浅层的连接，CBNet v1中只针对K=2的情况删除前两个stage的连接，这里进行了推广，对于K>2以及删除的阶段i>2的情况都进行了考虑。
实验结果
本文关于各种连接的消融实验和CBNet v1中有一些出入，具体如下
在v1中密集连接DHLC的效果不如AHLC，并且SLC的性能比原始单骨干网络更差。但在这里DHLC的性能比AHLC更好，并且SLC也优于单骨干。作者解释说可能是因为实现框架不同（CAFFE vs. PyTorch）使用的初始化方法不同导致的。个人猜测可能和由于辅助监督导致的。
此外本文还特别针对CBNet v2的兼容性包括和特征增强网络如DCN的兼容性，以及和模型集成的兼容性进行了实验，结果如下
可以看到CBNet v2和DCN以及model ensemble是互补的关系，使用DCN和集成可以进一步提升模型的性能。