利用平移俯仰对焦相机建立植物表型分析系统

利用平移俯仰对焦相机建立植物表型分析系统

植物生长属性的定量分析已成为植物科学和农业研究的热点。尽管自动化表型分析系统可以作为劳动密集型人工测量技术的解决方案，但这些系统通常需要专业知识，并且在高通量应用的扩展方面面临挑战。本研究介绍了一种可扩展的高通量植物表型分析技术，利用平移俯仰对焦（Pan Tilt Zoom，PTZ）相机。主要目的是评估PTZ相机在植物表型分析系统中的应用。通过集成开源软件和硬件技术，该方法可以捕获受控温室环境下黄瓜植株的图像。机器人的操作程序由一系列步骤组成。它从机器人的初始运动开始捕捉红外图像，然后分析检测Aruco标记，作为捕捉植物图像的位置标识符。随后，调整PTZ相机以从预定义的视点捕获特定的植物性状。然后将带有位置ID、预设视点和时间戳的捕获图像发送到远程服务器。系统可靠性的验证包括对基本操作的手动测量，以及通过植物特征检测对PTZ相机捕获的缩放图像的有效性进行评估。实验结果显示了令人鼓舞的结果，当在高度缩放图像验证集上测试增强数据集时，训练好的YOLOv8s在顶芽、雄花、雌花、小黄瓜和成熟黄瓜上分别实现了94%、97.6%、98.4%、90.1%和97.6%的平均精度（mAP），优于较小缩放或较不详细的验证集。这些发现强调了这种创新方法在捕获实时植物图像方面的有效性。利用PTZ相机的变焦、平移和俯仰功能，可以全面可视化植物性状和适应不断变化的生长模式，从而改善植物特征检测的结果。积累的图像有双重用途，作为人工智能模型的训练数据，突出它们的潜力，以促进未来需要广泛和可扩展的植物信息的研究工作。

图1 总体系统设计：(a)地面机器人和(b)门架机器人。

图2 植物表型分析系统的电子元件。

图3 通过ONVIF管理PTZ摄像机的过程。

图4 系统操作流程。(a)机器人的运动方向。(b)抓捕行动。(c)一般作业程序。

图5 摄像机位置：(a)地面机器人，(b)门架机器人。

图6 数据获取程序：(a)地面机器人；(b)门架机器人。

图7 红外摄像机在轨道下捕获的标记：(a)地面机器人，(b)门架机器人。

图8 标记分类：(a)雌花，(b)雄花，(c)顶芽，(d)小黄瓜，(e)成熟黄瓜。图像中的边界框区域表示对象的位置。

图9 在特定位置捕获的生长样本：(a)由门架机器人捕获，(b)由地面机器人捕获。

图10 使用PTZ相机的不同缩放级别捕获图像。

图11 PTZ相机拍摄的图像：(a)生长点和(b)植物根系和土壤。

图12 使用训练集#2训练的YOLOv8s模型在验证集#1上测试时的结果混淆矩阵。

图13 使用训练集#2训练的YOLOv8s模型在验证集#2上进行测试时的结果混淆矩阵。

图14 验证集#1中成功检测到的植物特征：(a)检测到芽、雄花和雌花，(b)检测到小黄瓜和成熟黄瓜。

图15 验证集#1中未检测到的植物特征：(a)和(b)雄花，(c)成熟黄瓜，(d)小黄瓜（黄色椭圆表示未检测到的植物特征位置）。

图16 在验证集#2中成功检测到植物特征：(a)检测到芽，(b)检测到雄花，(c)检测到雌花，(d)检测到小黄瓜，(e)检测到成熟黄瓜。

图17 在验证集#2中检测不到小黄瓜（黄色椭圆表示检测不到植物特征位置）。

来 源
Pham, D.T., Amin, N.A., Yasutake, D., Hirai, Y., Ozaki, T., Koga, M., Hidaka, K., Kitano, M., Vo, H.B., & Okayasu, T. Development of plant phenotyping system using Pan Tilt Zoom camera and verification of its validity. Computers and Electronics in Agriculture. 2024, 227, 109579.

编辑
王春颖