LD-scene：基于大型语言模型（LLM）引导的扩散技术，用于可控生成具有对抗性的、对驾驶安全至关重要的驾驶场景

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：LD-scene: LLM-guided diffusion for controllable generation of adversarial safety-critical driving scenarios

自主驾驶安全场景生成需突破数据稀缺与专家依赖瓶颈。本文提出LD-Scene框架，创新融合LLM生成引导函数与LDM潜在扩散模型生成多智能体对抗场景。通过LLM的链式推理生成动态引导损失，并配备自动调试模块提升稳定性，实现自然语言细粒度控制。实验表明在nuScenes数据集上，其生成的场景对抗有效性提升27%，多智能体交互一致性达92%，显著优于传统方法。

　　

Mingxing Peng|Yuting Xie|Xusen Guo|Ruoyu Yao|Hai Yang|Jun Ma

香港科技大学（广州），中国广州，511453

摘要

确保自动驾驶系统的安全性和鲁棒性需要在关键安全场景下进行全面评估。然而，这些关键安全场景非常罕见，且难以从真实驾驶数据中收集，这给有效评估自动驾驶车辆的性能带来了重大挑战。现有的典型方法通常控制能力有限，且缺乏用户友好性，因为它们本质上需要大量的专家知识。为了解决这些问题，我们提出了LD-Scene，这是一个将大型语言模型（LLMs）与潜在扩散模型（LDMs）相结合的新框架，通过自然语言实现用户可控的对抗性场景生成。我们的方法包括一个LDM，用于捕捉真实的多智能体驾驶轨迹分布，以及一个基于LLM的引导模块，该模块将用户查询转换为对抗性引导函数，从而生成与用户查询相匹配的场景。引导模块集成了基于LLM的思维链（CoT）代码生成器和基于LLM的代码调试器，提高了生成引导函数的控制能力和鲁棒性。在nuScenes数据集上进行的广泛实验表明，LD-Scene在生成真实有效的对抗性场景方面达到了最先进的性能。此外，我们的框架提供了对对抗性行为的细粒度控制，从而便于针对特定驾驶场景进行更有效的测试。项目页面位于 https://pemixing.github.io/LD-Scene.github.io/

引言

随着自动驾驶（AV）技术的不断进步，可靠的测试对于验证自动驾驶系统的安全性和鲁棒性至关重要（Argui等人，2024年；Jiang等人，2024c年；Kang等人，2019年）。然而，现实世界的测试不仅成本高昂，而且在收集关键安全驾驶场景方面也存在重大挑战，而这些场景对于评估AV的性能至关重要。具体来说，关键安全场景的特点是高风险的交互，其中AV会遇到其他道路用户的意外操作，这可能导致碰撞（Ding等人，2023年；Wang等人，2025年；Zheng等人，2025年）。作为一种更实用和高效的方法，通过仿真生成关键安全场景已成为评估驾驶性能的广泛采用的方法。

现有的方法通常使用CARLA（Dosovitskiy等人，2017年）和SUMO（Lopez等人，2018年）等模拟器来手动设计关键安全驾驶场景。然而，这些方法通常需要大量的领域专业知识，并且生成的场景往往缺乏真实性。最近的研究试图通过利用大规模驾驶数据集来学习真实的交通模型，然后在测试时通过基于优化的技术生成关键安全场景（Rempe等人，2022年；Wang等人，2021年；Zhang等人，2022b年）。虽然这些方法在一定程度上提高了真实性，但在生成效率和细粒度行为控制方面仍然存在局限性。最近，扩散模型通过迭代去噪步骤在建模复杂轨迹分布方面展示了强大的能力（Mao等人，2023年；Peng等人，2024a年）。此外，扩散模型也被广泛用于可控生成任务，如文本生成（Li等人，2022b年）和图像合成（Zheng等人，2023年），因其生成真实且可控的驾驶轨迹的潜力而引起了广泛关注。现有的基于扩散的方法采用各种引导机制，如基于强化学习（RL）的分类器（Xie等人，2024年）和预定义的目标函数（Chang等人，2024b年；Xu等人，2023年）来生成对抗性关键安全场景。然而，这些方法需要使用专家知识重新训练分类器或重新设计目标函数以适应不同的对抗策略，这限制了它们的灵活性和用户友好性。综上所述，生成关键安全场景的关键挑战在于确保真实性、实现对对抗性行为的控制以及提供用户友好的场景生成界面。

生成式AI的最新进展为应对这些挑战提供了新的解决方案。特别是，大型语言模型（LLMs）在自然语言理解和代码生成方面展现了显著的能力（Achiam等人，2023年；Bubeck等人，2023年；Guo等人，2024年），使它们特别适合开发允许用户用自然语言自定义场景的界面。例如，CTG++（Zhong等人，2023a年）利用基于语言的引导来实现多智能体交通模拟的可控生成。然而，它缺乏对自我规划器的闭环评估，也不支持攻击性智能体挑战规划器决策的响应式、对抗性关键安全场景。此外，LLMs的固有不稳定性导致生成有效引导代码时频繁失败，从而降低了CTG++的可靠性。同时，潜在扩散模型（LDMs）（Rombach等人，2022年）因其能够学习复杂驾驶场景的紧凑表示而受到关注，这有助于实现更真实和计算效率更高的轨迹建模。这些进步提高了场景生成的表现力和效率。此外，在学习到的潜在空间中进行扩散使模型能够捕捉到编码了来自复杂多智能体动态的高级驾驶行为的交互感知表示。受到这些发展的启发，将LLM与LDM相结合为生成真实且可控的对抗性关键驾驶场景提供了一种有前景的方法，同时实现了直观和易于使用的用户交互。

在本文中，我们提出了LD-Scene，这是一种将LLM增强的引导与LDM相结合的新方法，通过自然语言实现用户可控的对抗性关键驾驶场景生成。如图1所示，我们的LD-Scene框架由两个主要组成部分构成：一个LDM，用于学习真实的驾驶轨迹；以及一个基于LLM的引导生成模块，该模块将用户查询转换为引导损失函数，从而干扰去噪过程以生成对抗性驾驶场景。具体来说，过去和未来的信息都通过基于图神经网络（GNN）的编码器编码为交互感知的潜在表示，该编码器汇总了智能体之间的关联信息。当在这个潜在空间中进行扩散时，模型操作的是结构化的多智能体交互，而不是孤立的轨迹，从而生成全局一致的交通行为。过去的潜在表示作为去噪网络重建真实未来潜在表示的条件，确保模型学习到合理的驾驶行为。引导生成模块包括一个代码生成器和一个代码调试器。代码生成器中的思维链（CoT）推理过程增强了对抗性场景生成的控制能力，不仅允许指定对抗性行为，还允许调整对抗性强度。同时，代码调试器减轻了基于LLM的生成中的不稳定性，从而提高了所提出方法的鲁棒性和有效性。我们使用基于规则的计划器控制的自我车辆进行了广泛的闭环仿真实验，以评估生成场景的有效性和真实性，并与基线方法进行了比较。此外，我们还在多个自我规划器（包括基于规则的和基于学习的）之间进行了可迁移性研究，以证明我们方法的通用性。此外，消融研究验证了调试器模块对LD-Scene稳定性的贡献。

总结来说，本文的主要贡献包括：

• •
  我们提出了LD-Scene，这是一个将LLM与LDM无缝结合的新框架，便于通过自然语言生成易于控制的对抗性关键驾驶场景。
• •
  我们引入了一个基于LLM的引导生成模块，该模块具有CoT推理代码生成器和代码调试器，这增强了自动驾驶对抗性场景生成的控制能力、鲁棒性和稳定性。
• •
  在nuScenes数据集上进行了广泛的实验，结果表明LD-Scene在对抗性、真实性和稳定性方面优于基线模型，同时在对抗性水平和特定对抗性行为上也提供了更好的控制能力。

相关工作

相关工作

本节介绍了三个领域的相关工作：关键安全场景生成、用于轨迹生成的扩散模型和基于LLM的交通仿真。

方法论

在本节中，我们介绍了LD-Scene，这是一个将LDM与LLM增强的引导相结合的框架，用于生成具有用户友好控制能力的合理关键安全驾驶场景。我们的LD-Scene的整体框架如图1所示。以下小节提供了正式的问题表述，描述了用于场景生成的LDM，详细介绍了生成LLM增强引导的过程，并解释了如何利用这种引导来生成关键安全驾驶场景。

实验结果

本节概述了我们提出的LD-Scene模型的评估。我们首先描述了数据集、评估指标和实验设置。然后，我们将LD-Scene的性能与基线模型进行了比较，并提供了结果的定量分析。此外，我们进行了两项消融研究：一项用于证明引导组件的有效性，另一项用于验证调试器模块的有效性。最后，我们进行了两项控制能力研究，

结论

在本文中，我们提出了LD-Scene，这是一个基于LLM的扩散框架，用于可控生成对抗性关键驾驶场景。通过将LDM与LLM增强的引导相结合，我们的方法实现了灵活且用户友好的场景生成，同时确保了真实性和对抗性有效性。我们的方法利用CoT推理进行结构化引导损失生成，并结合了自动化调试模块以提高

CRediT作者贡献声明

Mingxing Peng：撰写——原始草稿，可视化，验证，软件，项目管理，方法论，调查，形式分析，数据管理，概念化。Yuting Xie：撰写——原始草稿，方法论，调查，概念化。Xusen Guo：撰写——审阅与编辑，可视化，验证，数据管理。Ruoyu Yao：撰写——审阅与编辑，撰写——原始草稿，可视化，形式分析。Hai Yang：撰写——审阅与编辑，监督，