ECCV 2024 | UniTraj：可扩展车辆轨迹预测的统一框架
ECCV 2024 | UniTraj：可扩展车辆轨迹预测的统一框架
车辆轨迹预测是自动驾驶领域的重要研究方向，近年来越来越依赖于数据驱动的解决方案。然而，这些方案在不同数据领域中的扩展能力以及更大数据集规模对其泛化能力的影响仍未得到充分探索。为了解决这一问题，EPFL、Valeo.ai和Sorbonne Université的研究人员提出了UniTraj，一个综合框架，用于统一各种数据集、模型和评估标准，为车辆轨迹预测领域提供了新的机会。
背景与挑战
随着深度学习的兴起，研究人员开始采用数据驱动的解决方案来应对车辆轨迹预测这一任务。然而，这些模型严重依赖于用于训练的特定数据域。自动驾驶系统可能会遇到各种情况，例如不同的地理位置，这些不同的情况提出了数据域的变化，可能会显著影响预测模型的性能。
探索模型在不同域中的性能表现需要利用多个轨迹预测数据集。然而，利用多个数据集时存在显著的挑战：
- 每个数据集都有独特的数据格式，这给研究人员使用多个数据集带来了实际困难。
- 每个数据集的收集和标注策略各不相同，包括半自动预标注和人工校正。这导致了多种不一致性，如分辨率、采样率和语义标注类型的差异。
- 由于数据集设置（例如预测时间跨度）和评估指标的不同，跨数据集比较模型性能并不简单。
UniTraj框架设计
为了解决这些挑战，研究人员提出了“UniTraj”，一个综合性的车辆轨迹预测框架。UniTraj无缝集成并统一了多个数据源（包括nuScenes、Argoverse 2 和 Waymo Open Motion Dataset - WOMD）、模型（包括AutoBot、MTR 和 Wayformer）以及评估方法。
UniTraj的主要特点包括：
- 设计为能轻松包含新的数据集
- 支持并简化了新方法的集成
- 提供了众多与轨迹预测任务相关的基本数据处理和损失函数
- 提供统一的评估指标
- 提供多样且有见地的评估方法，例如分析长尾数据实例和不同数据样本集群的性能
实验结果
研究人员使用UniTraj框架进行了广泛的实验，以阐明两个研究问题：
- 当模型在不同数据源之间转换时，性能会大幅下降，不同数据集引起的泛化能力也存在差异
- 通过扩大数据集的规模和多样性，可以在不进行任何架构修改的情况下显著提升模型性能
实验结果表明，UniTraj框架在nuScenes公共排行榜上排名第一。这个统一的数据集是目前可以用来训练车辆轨迹预测模型的最大公共数据集，包括超过200万个样本、1337小时的数据和15个不同的城市。
数据集特征分析
通过对数据集的深入分析，研究人员提供了对其特征的更全面理解。研究发现，数据集的泛化能力不仅归因于其规模，还与其内在的多样性有关。
总结
UniTraj框架为推进车辆轨迹预测领域的研究提供了新的机会。它不仅解决了数据集统一和模型评估的挑战，还通过实验证明了数据规模和多样性对模型性能的显著影响。这一框架将有助于显著推进轨迹预测领域的数据中心研究。
论文链接：https://arxiv.org/pdf/2403.15098
代码链接：https://github.com/vita-epfl/UniTraj
图1：UniTraj框架。该框架统一了各种数据集，形成了目前最大的车辆轨迹预测数据集。它还包括多个最先进的预测模型和各种评估策略，使其适用于轨迹预测实验。该框架能够研究多样的研究问题，包括（RQ1）轨迹预测模型在不同域中的泛化能力和（RQ2）数据规模对预测性能的影响。
图2：数据集规模与模型性能之间的关系。随着组合数据集规模的增加（从总数据量的20%到100%），AutoBot的预测误差变化情况。
图3：图(a)显示了轨迹类型的分布。它揭示了不同类型之间的不平衡，直线路径是数据集中最常见的轨迹类型。图(b)显示了轨迹的 Kalman difficulty 直方图。为了说明 Kalman difficulty ，本文叠加了三个随机示例。过去的轨迹、真实值和卡尔曼滤波预测分别用红色、蓝色和洋红色表示。图中显示了一个明显的趋势，即简单场景的数量显著高于复杂场景。特别是，WOMD在各类场景中的分布相对平衡。