MobileNet系列模型演进：从v1到v4的技术突破
MobileNet系列模型演进：从v1到v4的技术突破
MobileNet系列模型自2017年推出以来，已经发展到第四个版本，每个版本都在前作的基础上进行了重要改进。本文将简要概述MobileNet v1至v4的主要创新点和性能提升。
MobileNet v1
MobileNet v1由Google团队在2017年提出，主要针对移动端和嵌入式设备的高速推理任务。其核心创新是引入了深度可分离卷积（Depthwise Separable Convolution），将常规卷积分解为Depthwise卷积和Pointwise卷积，大幅减少了参数量。
下表展示了MobileNet采用深度可分离卷积和采用常规卷积的对比情况：
MobileNet v2
MobileNet v2在2018年由谷歌团队提出，主要改进包括反向残差结构（Inverted Residuals）和线性瓶颈（Linear Bottlenecks）。与传统的先压缩后扩张的残差结构不同，v2采用了先扩张后压缩的方式，并在残差块中避免使用ReLU激活函数。
相较于v1版本，v2在参数量和复杂度都减小的情况下，准确率提升了1.4%，推理速度也更快。
MobileNet v3
MobileNet v3于2019年发布，是首个通过神经网络架构搜索（NAS）得到的版本。它针对高资源和低资源设备分别提出了large和small两个版本。主要创新包括：
- 网络结构尾部优化：将特征扩展操作移到平均池化之后
- 头部卷积核个数减半
- 引入h-swish激活函数
- 在残差模块中加入SE模块
在ImageNet数据集上的表现显示，v3相对于v2在同级别上具有较大优势。
MobileNet v4
2024年发布的MobileNet v4引入了两个重要创新：通用倒置瓶颈块（UIB）和Mobile MQA注意力机制。
UIB是一个统一且灵活的结构，包含了倒置瓶颈、ConvNext、前馈神经网络（FFN）以及新的ExtraDW变体的组合。Mobile MQA则通过Multi-Query Attention（MQA）机制，在移动加速器上实现了39%的速度提升。
MobileNet v4在保持模型性能的同时，进一步优化了计算效率和内存访问，使其在移动设备上的表现更加出色。