OpenCity大模型预测交通路况，零样本下表现出色，来自港大百度

创作时间:

作者:

@小白创作中心

引用

澎湃

https://m.thepaper.cn/newsDetail_forward_28590213

香港大学联合华南理工大学和百度共同研发的长时间城市交通预测模型——OpenCity，通过结合Transformer架构和图神经网络，实现了对城市交通数据中复杂时空依赖关系的有效建模。该模型在零样本预测、跨任务泛化和长期预测等方面展现出卓越性能，为城市交通管理提供了新的技术解决方案。

当前的交通预测模型主要面临着三大挑战：

跨区域空间泛化能力：现有模型通常仅从特定区域的数据中学习，无法有效地泛化到其他区域。开发适用于不同城市的时空模型将显著降低部署和维护成本。
时间泛化与长期预测：现有模型在泛化到更长时间框架的能力明显有限。随着预测时间范围的增加，这些模型难以捕捉和考虑影响长期交通状况的交通模式的动态变化。
学习有效的通用表征并应对时空异质性：城市交通模式的特点是其固有的多样性，在不同的空间区域和时间显示出显著的分布变化。解决这种异质性对于确保统一的时空交通模型保持多功能性和适应性至关重要。

为了解决这些挑战，研究团队采取了一系列新策略：

用于分布偏移泛化的时空嵌入：采用实例归一化（IN）来处理数据，这种方法利用每个区域的单个输入实例的均值和标准差，而不依赖于全局训练集的统计数据，能够有效缓解训练数据和测试数据分布偏移的问题。
用于高效长期预测的Patch嵌入：通过将一小时的交通数据视为单个补丁的长度，并相应地调整步长，使得模型能够捕捉并适应交通数据在延长时间范围内的演变模式。同时，基于补丁的处理显著降低了计算和内存需求。
时空上下文编码：通过显式地模拟时间和空间上下文线索，OpenCity能够更好地理解影响交通模式的多方面因素。时间上下文编码捕捉周期性变化，空间上下文编码则整合了交通网络中的地理特性。
时空依赖建模：通过TimeShift Transformer架构，模型能够同时捕捉周期性的交通模式和复杂的动态变化。空间依赖建模则采用了图卷积网络（GCNs）来处理交通网络中的强空间相关性。

OpenCity在多个维度展现了卓越的性能：

零样本预测性能：即使不进行微调，OpenCity也超越了大多数基线模型。在多个数据集上能够保持前两名的位置，即使在不领先的情况下差距也保持在8%（MAE）以内。
跨任务泛化能力：在交通流量、交通速度、出租车需求和自行车轨迹等多个数据类别中，OpenCity始终提供高质量的结果，突显其卓越的稳健性和多功能性。
长期预测能力：OpenCity能够从多样化交通数据源学习通用时空表征，这使其能够生成稳健的预测，即使交通模式随时间变化和演进，预测仍然可靠。
快速适应能力：通过“高效微调”方法，OpenCity能够在新的交通数据集上快速提升性能，训练时间只占基线所需时间的2%至32%。
可扩展性研究：随着参数和数据规模的增加，OpenCity的零样本泛化性能逐渐提升，展示了其作为通用交通应用基础模型的潜力。