AIIG | 遥感中的零样本人工智能：一种自动图像分割的新框架
AIIG | 遥感中的零样本人工智能：一种自动图像分割的新框架
研究者们构建了一套融合零样本学习的人工智能检测与分割工具框架，旨在实现对遥感图像的稳定、自动化分割。该框架通过采用滑动窗口超推理技术与异常值剔除策略，显著提升了航空及卫星图像中建筑物、植被和车辆等目标的识别效能。此方案以用户体验友好的Python软件包LangRS形式呈现，促进了先进遥感分割技术的普及应用。
全球范围内对航拍和卫星图像的需求持续攀升。然而，高效识别并标注这些图像中的特征（如屋顶、汽车或树木）依然是一项艰巨的任务。为此，米兰理工大学与雅典国立技术大学的研究人员携手合作，通过融合先进的人工智能模型与智能数据处理策略，成功开发了一种全新的方法框架。
“尽管通用AI模型功能强大，但在缺乏精准训练的情况下，它们通常难以准确定位不熟悉的物体。”来自米兰理工大学的通讯作者Maria Antonia Brovelli教授指出，“我们采用滑动窗口推断方法，将大尺寸图像切割成更小、更易管理的模块，并通过实施异常值剔除步骤来消除错误检测。这不仅显著减轻了模型的计算负担，还大幅提升了识别特定特征的准确性。”
新框架采用了一种战略性的两步流程，充分利用了开源基础模型，例如任意物体分割模型(SAM)和Grounding DINO模型。首先，它通过滑动窗口方法对图像进行大面积检测，以确保捕捉到最细微的细节。该方法将检测模型应用于较小的图像块，不仅有效减轻了大规模遥感图像处理中的计算负担，还显著提升了检测的准确性。
接下来，系统运用统计和数据驱动技术，剔除不相关的边界框，例如尺寸过大或位置不佳的边界框，从而优化结果。随后，将筛选出的高质量边界框传递给SAM模型，以生成精确的分割掩码。
该流程采用零样本方式运行，即模型以现成的方式使用，保留了其原始训练参数，未在任何外部数据上进行额外的微调或重训练。在空间分辨率低于一米的航拍图像中，该流程取得了卓越的分割效果，准确率高达99%。
使用LangRS提出的分割框架结果概述图
“从根本上来说，我们通过构建由Mohanad Diab开发的稳健处理框架，充分借助现成的大规模人工智能模型的通用性，以实现最佳效果” Kolokoussis补充道。“我们期望这一框架能够推动自动化遥感图像分析更加普及，从而加速从环境调查到城市规划等各项工作的进展。”
该研究成果发表在期刊Artificial Intelligence in Geosciences上。