YOLOV8模型架构轻量化：极致降低参数量

YOLOV8模型架构轻量化：极致降低参数量

模型轻量化加速是深度学习领域的重要研究方向，旨在减小模型的体积和计算复杂度，从而提高在资源受限设备上的运行效率。本文将从模型结构设计的角度，以YOLOV8为例，探讨如何在保持模型性能稳定不变的前提下，实现参数量的极致压缩。

一、设计思路

从模型结构看，YOLOV8主要由两个大的模块构成：backbone和head模块。因此，降低参数量可以从这两个模块入手。

二、backbone模块轻量化参数

1. CSPPC替换c2f卷积块

   论文地址：https://arxiv.org/pdf/2303.03667.pdf

   如上图所示，其中利用了PConv模块大量降低参数量。PConv（部分卷积）的基本原理是利用特征图的冗余，从而减少计算和内存访问。具体来说，PConv 只在输入通道的一部分上应用常规卷积进行空间特征提取，而保留剩余通道不变。这种设计的优势在于：

• 减少计算复杂度：PConv 通过在较少的通道上进行计算，降低了浮点操作(FLOPs)的数量。例如，如果部分率设置为 1/4，则PConv的计算量只有常规卷积的 1/16.
• 降低内存访问：与常规卷积相比，PConv减少了内存访问量，这对于输入输出(/0)受限的设备尤其有益
• 保持特征信息流：尽管只对输入通道的一部分进行计算，但保留的通道在后续的逐点卷积(PWConv)层中仍然有用，允许特征信息在所有通道中流动

2. Down_wt替换backbone下采样模块

   上图是ADown，其是在202402021最新发布的yolov9模型结构中提出的

检测头轻量化参数

论文地址：https://arxiv.org/pdf/2306.15988.pdf

主要改进机制:

1. 底层特征融合: AFPN通过引入底层特征的逐步融合，首先融合底层特征，接着深层特征，最后整合顶层特征。这种层级融合的方式有助于更好地利用不同层次的语义信息，提高检测性能。
2. 自适应空间融合;引入自适应空间融合机制(ASFF)，在多级特征融合过程中引入变化的空间权重，加强关键级别的重要性，同时抑制来自不同对象的矛盾信息的影响。这有助于提高检测性能，尤其在处理矛盾信息时更为有效。
3. 底层特征对齐: AFPN采用渐近融合的思想，使得不同层次的特征在融合过程中逐渐接近，减小它们之间的语义差距。通过底层特征的逐步整合，提高了特征融合的效果，使得模型更能理解和利用不同层次的信息。

个人总结:AFPN的灵感就像是搭积木一样，它不是一下子把所有的积木都放到一起，而是逐步地将不同层次的积木慢慢整合在一起。这样一来，我们可以更好地理解和利用每一层次的积木，从而构建一个更牢固的目标检测系统。同时，引入了一种智能的机制，能够根据不同情况调整注意力，更好地处理矛盾信息。

模型结构轻量化参数对比

原yolov8参数：3011043

轻量化后参数：1436977

通过以上模块的替换使得模型参数降低至原来的一半不到，且精度不变，这是通过剪枝、蒸馏都没办到的