利用3D植物和辐射传输建模框架模拟自动标注的可见光和多/高光谱图像
利用3D植物和辐射传输建模框架模拟自动标注的可见光和多/高光谱图像
在植物遥感和近程传感领域，深度学习和多模态技术被广泛用于分析作物性状。然而，许多深度学习模型依赖于标注的数据集，这些数据集的获取往往耗时耗力。
2024年5月，Plant Phenomics在线发表了University of California, Davis题为Simulation of Automatically Annotated Visible and Multi-/Hyperspectral Images Using the Helios 3D Plant and Radiative Transfer Modeling Framework的研究论文。
为了应对这一挑战，本文提出了基于Helios 3D植物建模软件的辐射传输框架。该框架可以模拟RGB、多/高光谱、热成像和深度相机，生成附带参考标注的植物图像，例如植物的物理特征、叶片的化学浓度及生理特性。
图1合成图像生成框架的示意图
图1是合成图像生成框架的示意图。基于光线跟踪的相机模型用于模拟从光源（例如太阳和LED光）发射并被场景中的物体散射后到达相机的辐射传播。指定辐射源通量、物体反射率和透射率以及相机响应的光谱分布，以定义辐射如何与物体表面和相机传感器相互作用。基于prospect的叶片光学模型可以根据用户指定的叶片化学浓度生成叶片光学性质。最后，模拟相机生成可以任意自动注释的结果图像。
图2基于薄透镜模型的基于光线跟踪的相机模拟方法示意图
图2是基于薄透镜模型的基于光线跟踪的相机模拟方法示意图。右图:基于Bailey的模型，使用反向射线追踪方法对每个叶片表面单元（黑色实体框）进行辐射源采样，以确定散射辐射通量。左图:相机模型在镜头上随机采样，发射穿过焦平面的射线，查询所碰到的表面元素的散射辐射通量和唯一标识符。
图3豆类植物的示例注释合成图像
图3是豆类植物的示例注释合成图像。(A) 叶片叶绿素浓度分布图（色标单位为μg/cm2）， (B) 合成RGB图像，(C) 植物分割图，(D) 净光合作用分布图（色标单位为μmol m-2s-1）。相机焦平面距离为1.35m, HFOV为11.5°，镜头直径为0.02 m。豆叶分割的示例应用初步证明，合成图像可以直接作为高通量植物表型图像设计的机器学习模型的输入，以改进模型训练。研究还表明，该模型可以完全基于合成图像进行训练，并且在应用于真实图像时表现良好。
该研究的主要创新点在于开发了一种基于物理的模拟环境，能够生成包含光学和几何标注的高质量合成植物图像。研究表明，这一方法能够减少对手工标注数据的依赖，并通过合成图像训练深度学习模型，进行无监督学习。文中展示了该模型在豆叶检测和草莓果实检测中的应用，验证了其在高通量植物表型分析中的有效性。