从安全角度看用大语言模型实现的自动驾驶
从安全角度看用大语言模型实现的自动驾驶
2023年12月，来自美国西北大学、耶鲁大学和英国利物浦大学的研究人员发表了一篇论文，题为《Empowering Autonomous Driving with Large Language Models: A Safety Perspective》。该研究探讨了如何将大语言模型（LLM）集成到自动驾驶系统中，以解决当前自动驾驶技术面临的挑战。
自动驾驶技术的挑战
自动驾驶技术在商业落地过程中面临诸多挑战，特别是由于不可预见的长尾驾驶场景导致的公众信任和安全问题。这主要是因为深度神经网络在自动驾驶软件中的局限性，它们难以解释，在分布外数据（OOD）和不确定场景中的泛化能力较差。
LLM在自动驾驶中的应用
为了解决这些问题，研究者提出将LLM集成到自动驾驶系统中，利用其强大的常识知识、推理能力和人机交互能力。具体来说，LLM被部署为规划中的智能决策者，结合安全验证器进行上下文安全学习，以提高自动驾驶的整体性能和安全性。
技术框架
研究者提出了一个用于自动驾驶软件流水线的LLM集成框架。LLM可以通过文本描述理解场景，并做出行为层面的决策，如车道保持和变道。这些决策直接影响低级轨迹规划，从而提高安全性。安全验证器会检查决策的安全性，如果发现不安全，会进行上下文学习并追溯到行为制定者、预测者和感知模块。
LLM还可以帮助感知模块更好地理解决策场景，例如行人横穿带有停车标志的道路时，自车应该完全刹停。此外，LLM可以通过获取周围环境交通参与者的最新历史来更好地猜测其驾驶习惯和意图，从而帮助进行意图预测。
实验环境与方法
研究者使用开源的HighwayEnv开发了一个高速公路驾驶环境，考虑单向三车道驾驶场景。实验中使用OpenAI GPT-4 API作为LLM驱动程序智体，输入周围环境的文本描述，包括相对位置、相对速度和其他车辆的意图预测。LLM的输出被约束为选择目标车道。
安全验证与故障保护
自车的控制输入必须通过验证模块进行安全验证。如果MPC问题不可行，系统会切换到故障保护模式，保持当前车道并制动以保持最小安全距离。
实验结果与讨论
实验结果显示，GPT-4在自动驾驶的行为决策方面优于GPT-3.5-turbo。研究者还提出，可以通过状态机设计进一步提高LLM的性能和安全性，确保遵守基本规章和既定模式，同时保持决策的灵活性。
未来展望
研究者建议通过上下文学习或少样本微调将状态机集成到LLM中，以提高决策过程的安全性和可解释性。这种框架可以确保遵守预定义的状态机图，评估碰撞可能性，并预测周围车辆的意图。
总结
这项研究展示了LLM在自动驾驶中的巨大潜力，特别是在安全决策方面。通过将LLM与传统自动驾驶系统相结合，可以显著提高系统的性能和安全性。然而，研究者也指出，LLM在自动驾驶中的应用仍处于初级阶段，需要进一步的研究和优化。