全新ADAS端到端大模型 | Graph方法解决几何先验的问题！
全新ADAS端到端大模型 | Graph方法解决几何先验的问题！
在自动驾驶领域，如何有效地建模车辆、道路代理和地图元素之间的复杂交互一直是研究的重点。本文介绍了一种基于图神经网络的端到端自动驾驶算法GraphAD，通过交互场景图（ISG）来解决几何先验问题，显著提升了自动驾驶系统的性能。
传统的自动驾驶系统通常被划分为多个顺序模块，包括感知、预测、规划和控制等。然而，这种模块化设计限制了系统在全局范围内的优化能力。近年来，端到端自动驾驶算法因其能够减少累积误差并实现更高性能而受到广泛关注。
在端到端驾驶算法中，预测和规划模块都需要处理智能体之间的交互。然而，传统的注意力机制虽然能够捕捉隐式特征相关性，但缺乏关于哪些驾驶元素更为重要的几何先验知识。为了解决这一问题，GraphAD提出了交互场景图（ISG）来增强驾驶元素之间的交互建模。
交互场景图（ISG）的设计
交互场景图（ISG）由两个互补的部分组成：动态场景图（DSG）和静态场景图（SSG）。DSG关注智能体之间的交互，而SSG则描述了智能体与周围地图元素之间的交互。
具体来说，DSG中的每个节点对应一个智能体，边的权重衡量智能体之间的关注程度。这些权重与预测的未来轨迹相互依赖，通过迭代优化来细化预测结果。SSG则将智能体和周围车道作为节点，通过有向边建模智能体对车道的关注。
GraphAD的整体框架
GraphAD的整体框架如图2所示，主要包括以下几个步骤：
- 图像特征提取与BEV转换：以多视角视频序列、摄像头参数和自身位姿作为输入，通过图像编码器提取特征，并将其提升为鸟瞰图（BEV）特征。
- 结构化元素学习：采用TrackFormer和MapFormer提取动态和静态驾驶元素的结构化表示。
- 交互场景图构建：通过考虑潜在的运动，显式构建交互场景图来模拟自身车辆、动态元素和静态元素之间的交互。
- 轨迹预测与规划：结合自身状态特征和高级驾驶命令，通过规划头预测自身车辆轨迹。
实验结果
在nuScenes数据集上的实验结果表明，GraphAD在多个任务上都取得了最先进的表现。特别是在开环规划中，GraphAD将碰撞率降低了42.9%。在运动预测任务中，GraphAD以0.68的最小平均距离误差（minADE）和0.514的期望路径准确率（EPA）取得了最佳性能。
消融实验
通过消融实验，研究者验证了交互场景图的有效性。结果显示，动态场景图（DSG）和静态场景图（SSG）都对性能提升做出了重要贡献。此外，基于轨迹距离的计算方法明显优于其他距离计算方法，而基于MLP的特征聚合方法也优于基于注意力的方法。
结论
GraphAD通过交互场景图（ISG）为端到端自动驾驶提供了一种新的解决方案，显著提升了预测和规划任务的性能。未来的研究方向包括探索更复杂的交互方式，如交通信号灯和路线决策之间的交互。