实战评测！YOLOv5和YOLOv8哪个更适合动态机器人开发？
实战评测！YOLOv5和YOLOv8哪个更适合动态机器人开发？
在机器人领域，YOLO系列模型因其出色的实时检测能力而备受关注。本文来自筑波大学的研究团队，通过对比分析YOLOv5和YOLOv8在动态机器人环境中的表现，揭示了YOLOv5在某些场景下可能更具优势。研究结果不仅为机器人视觉系统的优化提供了新思路，也为模型选择提供了重要参考。
研究背景
自2007年以来，每年在日本茨城县筑波市举办的筑波挑战赛是一项技术挑战。其目的是增强在现实世界中与人们相同环境下运行的自动驾驶技术。来自各个组织的参与者通过开发移动机器人、进行实验和分享成果来努力推动技术进步。
机器人系统的实用性在多个领域都显而易见，如自主导航、监控和环境监测等。在这些领域中，地面机器人在导航和理解复杂环境中发挥着至关重要的作用。筑波挑战赛见证了现实世界自主导航技术的进步，重点在于移动机器人与人类环境的无缝集成。这一挑战凸显了鲁棒性目标检测能力的重要性，而本研究正是针对这一点进行探讨。
针对强调检测和分类特定对象（如交通标志和箱子）的2023年筑波挑战赛，本研究通过提供几种YOLO模型的比较分析来做出贡献，包括最新的迭代版本如YOLOv8。尽管YOLOv8在特征融合和空间注意力等方面有所改进，但本文对每个模型在机器人应用中的适用性保持批判性观点，特别是在实时处理能力和对不同设置的适应性方面。
这项工作旨在全面评估这些模型在地面机器人相关的一系列场景中的表现，从而评估它们在检测精度、处理效率以及室外导航任务中的实际部署方面的性能。
研究方法
研究采用了实证方法来仔细研究YOLOv5和YOLOv8框架的性能细微差别。研究方法分为两个方面：首先，使用为机器人目标检测设计的标准化数据集来实现和训练模型；其次，通过一系列指标分析训练后模型的性能，主要关注mAP和精确率-召回率值。
实验涉及在精选数据集上训练YOLOv5和YOLOv8模型，该数据集包含用于机器人视觉任务的标注图像。训练过程持续了200个周期，批处理大小为16，使用恒定的学习率0.01，并根据设置为20个周期的耐心参数采用早停法。YOLOv8和YOLOv5模型均从在ImageNet数据集上预训练的权重进行了微调。
主要贡献
本研究的贡献列举如下：
- 对YOLO模型进行广泛评估，强调这些框架在机器人建图中的实际应用，以应对现实世界的环境复杂性。
- 开发了一个针对所提出任务的特定需求定制的新颖的1700张图像数据集，解决了研究中概述的挑战。应用了多种数据增强技术来增强数据集的多样性和鲁棒性。
- 对不同YOLO版本进行详细性能比较，重点在于提高动态设置中目标检测的鲁棒性和效率。
优化技术
显然，类别平衡的实现支持了模型在不同类别间实现检测能力的均匀性。这在模型之间平衡的精确率和召回率上尤为明显，确保没有单一类别主导检测过程，这对于机器人应用的多样化需求至关重要。
通过重点关注频繁出现误分类的具有挑战性的样本，如区分蓝色盒子和蓝色天空，难负样本挖掘显著减少了误报。这在机器人学中至关重要，因为区分相似对象可能意味着正确导航和潜在碰撞之间的区别。
mAP的改进，尤其是在不同的光照和环境条件下，强调了领域适应技术的有效性。这一技术增强了模型的鲁棒性，使它们能够在不同的环境中可靠地运行——这是机器人在现实条件下运行所必需的重要属性。
应用高级后处理技术，如非极大值抑制（NMS）和变化的IoU阈值，提高了检测精度。这在精度指标上持续保持高性能得到了证明，这对于确保机器人基于可靠数据做出决策至关重要。
调整模型的深度和宽度以适应特定用例已被证明可以在不牺牲准确性的前提下优化计算效率。较小的模型表现出了惊人的鲁棒性，特别是在计算资源有限的环境中，这是移动机器人常见的场景。
数据准备和模型训练
用于训练的数据集是为了代表机器人系统可能遇到的各种场景而组装的。它包含了各种光照条件、遮挡和角度，以挑战模型的泛化能力。图像在各个类别之间均匀分布，以确保类别平衡，并进行增强以模拟机器人的操作环境。YOLOv8和YOLOv5模型都经过了严格的训练，特别关注可能影响其实际性能的超参数的微调。
消融研究见解
我们进行了消融研究，以了解各种因素对模型性能的影响。我们研究了类别平衡、难例挖掘、领域适应、后处理技术和模型大小调整对精确率和召回率值的影响。初步结果表明，虽然YOLOv8模型受益于架构优化，但这并不一定能在机器人应用中经常遇到的复杂现实场景中转化为更高的精确率。相反，YOLOv5模型的成熟训练过程和优化可能是其稳健精确率性能的贡献因素。后续部分将详细分析消融结果，揭示模型架构、训练范式和数据集特性之间的复杂动态关系。
实验结果
进行的消融研究通过包括类别平衡、难负样本挖掘、域适应、后处理技术和模型大小调整在内的各种优化技术，深入洞察了YOLOv8和YOLOv5模型的性能提升和局限性。该研究严格评估了每个因素如何为机器人应用的整体性能做出贡献。
性能评估
性能评估主要关注两个不同IoU阈值下的mAP：0.5（对象检测的标准）和0.5:0.95（考虑一系列IoU阈值的更严格度量）。计算了精确率和召回率，以反映模型在识别对象时的准确性和完整性。
如表I所示，尽管YOLOv8在架构进步方面预期具有优势，但YOLOv5模型在精确率方面显示出了竞争力，特别是“m”和“x”配置。这一意外结果促使我们更深入地探索可能导致这一结果的模型训练和数据处理的特定方面。
性能指标分析
如图4a和4b所示，YOLOv8和YOLOv5模型的平均精度均值（mAP）随着训练周期的增加均表现出显著的改进，其中YOLOv5模型通常略优于YOLOv8，尤其是在更严格的mAP 0.5-0.95指标上。这可能是由于YOLOv5模型针对处理和多样且复杂的对象类别进行了更成熟的训练过程和架构优化。
类损失和对象损失曲线（图4c、4d和4e）显示了一致的下降趋势，这表明两种模型架构都实现了有效的学习和适应。然而，YOLOv5模型在对象损失方面表现出更快速且稳定的下降，这表明它在不同对象检测中的泛化能力更强，这对于机器人导航中的动态环境至关重要。
对机器人应用的启示
这项消融研究的结果表明，虽然像YOLOv8这样的新型模型架构提供了显著的进步，但YOLOv5模型中所固有的特定调整和优化在目标检测任务的精确度和可靠性方面提供了竞争优势。这些见解为优化深度学习模型以在机器人中实现实用和高效的应用指明了清晰的道路，其中准确性、速度和适应不同环境的能力至关重要。对不同优化如何影响模型性能的深入理解不仅有助于为特定机器人任务选择适当的模型，还指导了未来机器人视觉系统的发展。这些结果鼓励在模型选择和训练上采取更加细致入微的方法，主张在超越纯粹架构进步的同时，综合考虑各种因素的平衡。
比较性能的见解
YOLOv5模型在某些配置下表现出更高的精确度，这表明针对YOLOv5的优化可能与所使用的数据集特性更为匹配。这些优化可能包括在不同尺度上更好的特征表示或更有效的背景类抑制。此外，对ImageNet的精细预训练可能为YOLOv5模型提供了针对给定检测任务更鲁棒的特征集，凸显了预训练数据集和预训练过程的重要性。
YOLOv5的架构成熟度与精心准备的训练数据集的融合，挑战了“新模型自然具有更好性能”的预设。它表明，数据集复杂性和模型架构之间的相互作用比先前所认识到的更为重要。我们的研究建议，在机器人应用中的模型选择标准需要发生范式转变，强调实际测试和性能分析，而非假设的模型优越性。
总结 & 未来工作
本研究对YOLOv5和YOLOv8模型在机器人应用中的性能进行了批判性评估，特别关注先进对象检测框架的微妙动态。通过广泛的消融研究和严格分析优化技术，如类别平衡、难负样本挖掘、域适应、后处理技术以及模型大小调整，研究表明，尽管像YOLOv8这样的新模型提供了显著的技术进步，但它们并非在所有指标上都普遍优于旧版本。事实上，YOLOv5模型在检测任务中经常表现出更高的精确度和可靠性，强调了基于特定操作环境而非仅基于模型新颖性来选择模型的重要性。
这项研究的发现不仅突出了为机器人应用量身定制的模型训练和优化的关键作用，还提出了在部署对象检测模型时向更加应用导向的方法转变的范式。在未来的工作中，我们计划将这些发现集成到现实世界的机器人系统中，进一步在动态环境中测试这些模型，以提高其效率和准确性。这不仅有助于推动机器人导航和交互技术的最新进展，还有助于确保充分利用技术进步的优势，增强自主系统在复杂多变环境中的操作能力。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文：
标题：Precision and Adaptability of YOLOv5 and YOLOv8 in Dynamic Robotic Environments
作者：Victor A. Kich, Muhammad A. Muttaqien, Junya Toyama, Ryutaro Miyoshi, Yosuke Ida, Akihisa Ohya, Hisashi Date
机构：筑波大学
来源：2024 CIS