自动驾驶车辆与行人交互的自适应压力测试：一种大语言模型（LLM）蒸馏方法

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Adaptive stress testing of autonomous vehicle-pedestrian interactions: A large language model (LLM) distillation approach

　　

•提出了一种基于大语言模型加速的深度强化学习框架，用于对抗性行人测试。
•利用大语言模型演示来预热深度强化学习模型，减少冷启动探索。
•提升了碰撞发现、责任敏感安全（RSS）故障暴露和轨迹多样性。
•在推理过程中无需调用大语言模型即可实现实时闭环测试。

1. 引言

普遍认为，自动驾驶车辆（AV）的部署将是渐进式的，受基础设施准备、公众信任和立法实施等挑战的制约（Wen等，2022a）。这一过渡时期将以混合交通环境为主，其中自动驾驶车辆与其他道路参与者共存（Wen等，2023a）。这一现实提出了一个关键的研究问题：如何有效验证自动驾驶车辆的控制系统，以确保安全和高效的交互，特别是与行人等不可预测的参与者之间？

评估自动驾驶车辆在安全关键场景中的表现对于验证其管理复杂动态交互的能力至关重要（Feng等，2023；Feng等，2021）。鉴于现实世界测试的危险性和成本，该领域已转向基于仿真的测试，其中合成生成的对抗性行为对自动驾驶车辆控制器进行压力测试，以发现潜在漏洞（Cai等，2024；Liu和Feng，2024）。这种方法能够主动识别和缓解这些漏洞，从而在大规模部署之前最大化自动驾驶车辆的安全性。

生成对抗性行为的方法主要分为两大类：基于模型的方法和基于数据驱动的方法（Chang等，2024）。早期研究严重依赖基于模型的方法，如智能驾驶员模型（IDM）（Treiber等，2000），但这些模型无法捕捉现实交互的复杂性，也缺乏人类驾驶员的行为变异性（Chen等，2024b；Wen等，2022b）。相比之下，基于数据驱动的方法利用深度学习或深度强化学习从自然驾驶数据中提取模式。然而，这些方法受限于"稀有性困境"（Liu和Feng，2024），因为获取足够的关于安全关键边缘案例的数据极其困难。这一限制往往导致重复性的场景，无法暴露自动驾驶车辆控制模型的漏洞。

基础模型的最新进展，特别是大语言模型，为对抗性行为生成提供了新的机遇。在大规模数据集上训练的大语言模型拥有广泛的世界知识和强大的时空推理能力，使它们能够理解复杂的交通情况（Sheng等，2025）。通过解释类似人类认知的自然语言指令，大语言模型无需任务特定的微调即可生成安全关键轨迹（Zhang等，2024；Zhao等，2025）。研究表明，与传统方法相比，大语言模型在理解高层指令、处理复杂交通动态和诊断任务失败的根本原因方面表现出卓越的能力（Yu等，2025）。尽管具有这些优势，大多数用于对抗生成的大语言模型应用仍以离线方式运行（Mei等，2025），生成静态的、预定义的场景，无法适应自动驾驶车辆的实时动作。此外，大语言模型的高计算成本导致显著的推理延迟，限制了其在实时场景中的实用性（Chen等，2024c；Gan等，2025）。

总之，当前研究面临若干关键局限。首先，基于模型和基于数据驱动的方法都难以生成暴露自动驾驶车辆关键漏洞所需的稀有但灾难性的边缘案例（Guo等，2025）。其次，现有研究大多以离线方式使用大语言模型（Mei等，2025），生成的轨迹无法动态响应自动驾驶车辆的动作。这种缺乏在线交互导致无法发现涌现的故障模式，削弱了安全评估的鲁棒性。第三，大语言模型的高计算需求导致推理延迟，阻碍了其实时部署。第四，尽管对危险的周边车辆模拟已广泛研究（Stoler等，2025），但自动驾驶车辆与行人的交互仍严重缺乏研究，使得现有的面向车辆的情景生成方法不太能直接应用于自动驾驶车辆与行人的对抗性测试。

为应对这些挑战，本研究提出了一种自适应压力测试（AST）框架，用于评估自动驾驶车辆在行人交互场景中的驾驶智能。我们的方法利用大语言模型的上下文学习和推理能力，使用精心设计的提示以在线方式生成少样本行人轨迹。这些反映大语言模型隐含知识的轨迹作为信息先验，加速并稳定一个紧凑的深度强化学习模型的训练。这一过程充当了一种知识蒸馏形式，由一个大型且专有的大语言模型生成数据集来调优一个更小且更高效的模型。为了评估生成的轨迹，我们提出了一种多维度评估框架，包含碰撞率（CR）、责任敏感安全（RSS）违规、动态时间规整（DTW）距离以及自动驾驶车辆的平均急动度（Jerk）。通过大语言模型和深度强化学习智能体的协同运行，我们的框架有效地生成安全关键、多样且真实的行人行为，从而更深入地探查自动驾驶车辆决策系统中的漏洞。

本研究的主要贡献如下：

•我们提出了一种将大语言模型与深度强化学习相结合用于通用控制任务的新型框架。受模型蒸馏启发，这一范式利用大语言模型演示作为先验知识来引导和增强深度强化学习训练。通过利用大语言模型的强大推理能力同时避免其高推理延迟，该方法有效地加速和稳定了紧凑深度强化学习智能体的学习过程。

•我们将这种大语言模型加速的深度强化学习框架应用于自动驾驶车辆与行人交互的对抗性测试，展示了优于标准深度强化学习方法和大语言模型单独基线方法的卓越性能。为此，我们引入了一个全面的评估套件来评估生成的行人轨迹的质量和对抗性潜力，从而能够严格和系统地分析测试策略。

•我们进行了广泛的敏感性分析，验证了框架在不同大语言模型和不同规模演示数据下的鲁棒性和适应性。此外，通过展示其有效区分不同自动驾驶车辆决策系统性能水平的能力，我们确立了该框架的实际应用价值。

本文其余部分组织如下。第2节回顾了现有的关于自动驾驶车辆对抗性测试和基于大语言模型的情景生成方法的研究。第3节介绍了基础概念，包括自适应压力测试、责任敏感安全和动态时间规整。第4节描述了所提出的大语言模型加速深度强化学习模型的整体设计并解释了每个模块的功能。第5节呈现了实验设置和所提出模型的性能。第6节总结了本研究并讨论了未来研究的可能方向。

2. 文献综述

本研究处于两个关键研究领域的交叉点：自动驾驶车辆的对抗性测试和基于大语言模型的情景生成。

2.1 自动驾驶车辆的对抗性测试

对抗性测试旨在通过控制周边代理战略性地干扰自动驾驶车辆的正常驾驶，从而暴露其决策中的潜在漏洞（Tang等，2023）。这些代理的轨迹生成方法大致可分为基于模型的方法和基于数据驱动的方法（Chang等，2024）。

传统的基于模型的技术，如智能驾驶员模型和通过车道变换最小化整体制动方法（MOBIL）模型（Kesting等，2007），通常无法捕捉真实的车辆动态和道路参与者之间复杂的交互，同时也未能考虑人类驾驶员的异质性（Guo等，2025）。为了生成更有效的安全关键场景，研究人员转向基于优化的策略，包括贝叶斯优化（Abeysirigoonawardena等，2019）和二次规划（Althoff和Lutz，2018），以识别引发对抗性结果的关键参数。蒙特卡洛树搜索（MCTS）也被应用于探索众多模拟中的大量扰动序列组合，以发现碰撞倾向性轨迹（Lytskjold和Mengshoel，2023）。然而，基于优化的方法需要对参数空间进行大量探索，导致高计算成本（Chang等，2024）。

基于数据驱动的方法越来越多地利用深度学习技术，通过学习现实世界驾驶数据中的模式来生成周边代理的对抗性轨迹（Wen等，2023b）。例如，Rempe等（2022）提出了一种基于图的条件变分自编码器来捕捉交通先验并生成涉及周边代理碰撞的安全关键场景。类似地，Li等（2024b）提出了一种基于时序生成对抗网络的车道变换场景生成方法，并辅以自适应参数优化策略（APOS）以提高场景真实性。除纯深度学习外，深度强化学习已被积极应用于自动驾驶车辆的对抗性测试。Corso等（2019）；Koren等（2018）；Koren和Kochenderfer（2019）将自动驾驶车辆与行人交互表述为马尔可夫决策过程，并开发了使用深度强化学习发现关键行为的自适应压力测试框架。Cai等（2024）；Guo等（2025）的更新工作进一步发展了基于深度强化学习的方法，以在自动驾驶车辆与车辆交互中生成高风险轨迹。然而，深度学习模型需要大量的现实世界数据，特别是稀有的边缘案例，才能有效学习真实和危险的情景。同时，深度强化学习方法面临样本效率低、收敛不稳定、延迟奖励和信用分配困难等挑战（Wen等，2024a；Wen等，2024b）。

2.2 基于大语言模型的情景生成

近期研究越来越多地利用大语言模型，通过发挥其世界知识、上下文学习和推理能力来故意设计交通场景。通常，用户提供高层指令或高质量演示，大语言模型被提示生成详细的、合理的交通场景。例如，Aasi等（2024）利用大语言模型构建场景树来生成多样的安全关键驾驶场景，其中每个分支代表一个独特的边缘案例。Chang等（2024）提出了LLMScenario，一个包含提示工程、大语言模型驱动的情景生成和评估反馈调优的框架，以产生安全关键场景，随后对其稀有性和真实性进行评估。Lu等（2024）引入了一种基于多模态大语言模型的框架，包含网络生成器和车辆生成器，在城市交通模拟中生成模拟环境。Zhang等（2024）开发了一个配备情景描述知识库和对应代码对的大语言模型智能体，使其能够生成高层对抗性场景叙述并将其转化为可执行的模拟脚本。Ding等（2024）提出了RealGen，一种知识检索增强的上下文学习框架，通过结合从多个检索到的现实示例中的行为模式来合成新颖场景。Sheng等（2025）提出了Talk2Traffic，一种基于多模态大语言模型的系统，通过三个阶段支持交互式和可编辑的交通场景生成：提示解释和表示、表示转换以及与人类反馈的对齐。

尽管大语言模型在交通场景生成中的应用日益增长，但大多数现有方法产生的是静态的对抗性代理轨迹，意味着这些行为是预定义的，不会在模拟期间动态适应自动驾驶车辆的实时决策（Mei等，2025）。

3. 预备知识

本节介绍了测试自动驾驶车辆的三个基础概念。首先，第3.1节阐述了自适应压力测试的基本思想。然后，第3.2节和附录A分别介绍了责任敏感安全模型和动态时间规整方法。

3.1 自适应压力测试

自适应压力测试最初被提出用于验证飞机防撞系统（Lee等，2015）。在自适应压力测试框架中，发现被测系统最可能故障模式的任务被表述为一个马尔可夫决策过程。在本研究中，我们采用自适应压力测试通过基于行人的攻击生成一系列多样化的挑战性场景来暴露自动驾驶车辆控制器的漏洞。这里，被测系统对应于自动驾驶车辆在接近路中人行横道时的控制策略。

自适应压力测试框架由两个基本组成部分构成（Koren和Kochenderfer，2019）：首先，必须定义状态空间的一个子集，记为C，以捕获感兴趣的关键事件发生的状态。在本研究中，C包含自动驾驶车辆与行人碰撞的所有模拟状态。其次，自适应压力测试需要一个模拟环境，包含被测系统模型、其他代理模型（在本研究中为行人）以及环境动态。模拟环境必须支持以下核心功能：

•初始化：将模拟环境重置为指定的初始状态s0。
•步骤：根据被测系统和周边代理的动作以及环境动态，将模拟推进一个时间步，更新系统状态。
•是否终止：如果当前状态属于关键集合C（即发生了碰撞）或模拟已达到最大时间步Tmax，则返回真。

在自适应压力测试框架中，本研究将对抗性行人轨迹的生成表述为一个马尔可夫决策过程。具体而言，对抗性行人作为深度强化学习智能体，其目标是在有限时间范围内最大化引发关键事件（即与自动驾驶车辆发生碰撞）的概率。在每个时间步，行人控制器根据当前状态选择一个动作。该动作与自动驾驶车辆的动作（由被测系统决定）一起传递给模拟环境。

环境随后根据底层动力学更新状态，并返回（1）新状态和（2）一个表示是否已满足终止条件的二值信号。奖励函数将这些输出映射为一个标量奖励，行人控制器利用该奖励来改进其策略。

3.2 责任敏感安全模型

责任敏感安全（Responsibility-Sensitive Safety, RSS）是一个根植于直观且符合现实驾驶逻辑的形式化框架，旨在定义安全驾驶行为，使得在假设所有道路参与者都严格遵守其规则的理想情景下，碰撞可以完全避免（Shalev-Shwartz等人，2017）。尽管所有驾驶员都能完美遵守规则是不现实的，但RSS为判定碰撞中的过错提供了严谨的基础。在RSS框架中，如果自动驾驶车辆（AV）在驾驶情况进入不安全状态时，未能执行RSS规则所要求且允许的操作，则该AV被视为对碰撞负有责任。

在自动驾驶车辆与行人交互的语境下，我们聚焦于RSS规则的一个特定子集，即涉及纵向和横向碰撞避免的规则。设AV和行人分别以纵向速度vAV和vPed运动。通过纳入各参与者的响应时间、最大加速度和最大制动减速度，可以利用运动学模型解析地推导出避免碰撞所需的最小安全距离（Shalev-Shwartz等人，2017）。当AV和行人同向行驶时，最小安全纵向距离表示为：

(1) dsafelon = [ρ(vAV + ?·a^lon,+_max·ρ) + (vAV + a^lon,+_max·ρ)2 / (2·a^lon,?_min) ? v2Ped / (2·a^lon,?_max)]?

其中 [·]? = max{·, 0}，vAV和vPed分别表示AV和行人的纵向速度；ρ是AV的响应时间；a^lon,+_max和a^lon,?_max分别表示AV的最大纵向加速度和最大制动减速度；a^lon,?_min表示保证在响应时间ρ内以a^lon,+_max加速的情况下仍能完全制动而不发生碰撞的最小制动减速度；d表示AV与行人之间的纵向距离。

当AV与行人相向而行时（即行人以负纵向速度运动），最小安全纵向距离如公式(2)所示：

(2) dsafelon = vAV + vAV,ρ/(2ρ) + v2AV,ρ/(2·a^lon,?_min,AV) + |vPed| + vPed,ρ/(2ρ) + v2Ped,ρ/(2·a^lon,?_min,Ped)

其中 vAV,ρ = vAV + ρ·a^lon,+_max,AV，vPed,ρ = |vPed| + ρ·a^lon,+_max,Ped。

如果AV与行人之间的距离小于最小安全纵向距离dsafelon，则驾驶情况被视为纵向危险的。当进入这种危险状态时，AV的适当纵向响应被定义为符合Shalev-Shwartz等人（2017）中规定的RSS规则。

最小安全横向距离的计算方式类似。假设AV位于行人的左侧，最小安全横向距离表示为：

(3) dsafelat = [vAV + vAV,ρ/(2ρ) + v2AV,ρ/(2·a^lat,?_min) ? vPed + vPed,ρ/(2ρ) + v2Ped,ρ/(2·a^lat,?_min)]?

其中所有速度和加速度向量均投影到横向方向。如果AV与行人之间的距离小于最小安全横向距离dsafelat，则驾驶场景被视为横向危险的。当进入这种危险状态时，AV的适当横向响应被定义为满足Shalev-Shwartz等人（2017）中概述的RSS规则。

本研究采用了Corso等人（2019）的参数集。通过实施RSS模型，我们在每个时间步评估AV的响应，区分适当响应和不适当响应。不适当响应对于识别引发过错的条件至关重要，这些条件暴露了AV控制器中潜在的缺陷。在本研究中，危险状态被定义为车辆违反最小安全纵向/横向距离的时刻，此时出现的不适当响应被称为RSS关键帧。

图1描绘了一次AV与行人交互的模拟场景，最终导致碰撞。AV从左向右移动，而行人从下向上穿越。在图1(a)中，每个时间步通过颜色编码来指示所存在的危险类型——纵向、横向或两者的组合。图1(b)展示了AV随时间的响应情况，颜色反映其行为是否符合RSS规则。值得注意的是，尽管发生了碰撞，但根据RSS模型，AV在每个时间步的行为都被归类为适当的。这凸显了RSS相较于基于碰撞的安全验证的一个关键优势：RSS不是单纯依据结果来判断安全性，而是通过区分不可避免的碰撞与真正的安全违规行为来评估AV的行为是否正确。

下载：下载高分辨率图像（419KB） 下载：下载全尺寸图像

图1. AV与行人交互的示例。

如果AST框架反复识别出AV控制模型中类似的故障，那么对于寻求多样化故障场景的AV安全工程师而言，其价值有限。为了发现更广泛的边界情况，必须充分探索行人行为的变异。与我们之前的工作（Cai等人，2024）类似，场景由行人的位置和速度轨迹来表征。在本研究中，我们采用基于动态规划（DP）（Sakoe和Chiba，2003）的动态时间规整（Dynamic Time Warping, DTW）方法（Keogh和Pazzani，2000）来评估两条行人轨迹之间的多样性。DTW的详细介绍见附录A。

4. 基于大语言模型的行人轨迹生成

4.1 大语言模型加速的DRL模型概述

在本研究中，AV充当测试对象。它在固定的预设策略π_V(a|s)下运行，该策略控制其行为以安全高效地完成驾驶操作，如通过路中人行横道。重要的是，AV对行人的对抗意图毫不知情。这一条件确保其响应是真实的，能够代表实际运行状态，从而能够对其安全性能进行有效评估。

相反，在AST框架中，行人充当对抗智能体，负责主动挑战AV。行人由可学习的策略π_A(a|s)指导，通过策略性地选择能诱发安全关键场景的动作来最大化其预期奖励。通过持续监控环境和AV的响应，它在实时动态调整其行为。这种自适应方法旨在系统性地探测AV固定策略的安全边界。

如第1节所述，现有研究主要将大语言模型（LLM）应用于离线场景（Mei等人，2025），所生成的轨迹是静态的，无法实时适应AV的行为。这种缺乏在线交互的特性限制了发现涌现故障模式的能力，并削弱了安全评估的鲁棒性。此外，LLM的计算需求巨大，导致推理延迟，阻碍了其在实时应用中的部署。

另一方面，传统的深度强化学习（DRL）方法由于策略梯度方差大和奖励高估问题，存在样本效率低和收敛不稳定的缺陷（Henderson等人，2018）。此外，针对AV与行人交互的对抗性测试构成一个具有挑战性的序列决策问题，存在时间延迟和信用分配困难：关键事件（如碰撞）往往发生在行人做出动作数秒之后，使得难以确定哪些动作对结果影响最大。因此，在DRL中仅使用瞬时奖励可能会忽略单个动作对测试目标的长期影响。

为应对这些挑战，我们提出了由三个阶段组成的LLM加速DRL模型，如图2所示，基于模型蒸馏原理（Hsieh等人，2023）：

下载：下载高分辨率图像（673KB） 下载：下载全尺寸图像

图2. 提出的LLM加速DRL模型。

- **阶段1**：我们利用LLM生成高质量的专家演示作为少样本示例。具体而言，我们设计了一个包含六个组件的结构化提示：角色、背景信息、任务描述、仿真环境、当前和历史状态、输出要求，以确保上下文丰富和任务对齐。LLM扮演行人的角色，与仿真环境交互，并生成对抗性轨迹供后续阶段使用。

- **阶段2**：阶段1生成的轨迹被注入DRL模型的回放缓冲区，通过对采样的状态-动作对进行监督回归来初始化策略网络，此过程中不与环境交互。这一模型蒸馏过程有效地将LLM"教师"的知识转移给DRL"学生"，使智能体具备生成对抗性行人轨迹的基础行为先验。所得策略网络随后在阶段3中使用。

- **阶段3**：策略网络通过与环境交互，使用标准DRL方法进一步训练。为提高学习效率和收敛稳定性，我们采用两步排序策略（Hessel等人，2018；Li等人，2024a），识别同时具有高回合奖励和瞬时奖励的经验，并优先将其存储在回放缓冲区中。策略网络通过随机采样的高性能轨迹的监督回归来更新。

这种三阶段方法提高了收敛速度和稳定性，同时缓解了信用分配问题，从而改善了整体性能。注意，LLM仅在阶段1的离线演示生成期间被查询。下面4.2节概述了AST框架的MDP形式化，各阶段的详细配置在第4.3节和4.4节中给出。

4.2 问题形式化

如第3.1节所述，AST框架中的场景生成被形式化为由元组(S, A, R, P, γ)定义的马尔可夫决策过程（MDP）。其中S表示涵盖所有可能环境配置的状态空间，A表示可行行人动作的动作空间。奖励函数R(st, at)量化了在状态st下执行动作at的即时奖励，而转移动力学P(st+1|st, at)指定了达到下一状态st+1的概率。最后，γ ∈ [0, 1)是平衡即时奖励和未来奖励的折扣因子。具体而言，该MDP形式化的各组成部分描述如下：

- **状态**：状态空间表示行人可从环境中获取的所有可能观测的集合。设st表示行人在时间步t的状态。状态向量st定义如下：

(4) st = [xAV, yAV, vxAV, vyAV, xPed, yPed, vxDed, vyPed]

其中x和y表示笛卡尔平面上的位置，vx和vy分别表示AV和行人对应的速度分量。

- **动作**：动作为二维向量，表示行人在时间步t的纵向和横向加速度，记为aPed,t = [axPed,t, ayPed,t]。在本研究中，动作向量的幅度上限设定为1 m/s2，以确保现实性，这与之前的研究一致（Alsaleh和Sayed，2021；Nasernejad等人，2021）。

- **奖励函数**：类似于我们之前的工作（Cai等人，2024），采用分段奖励函数，如公式(5)所示：

(5) R =
ε1·RSS_Prop + ε2·(1/K)·ΣDTW(Ss, Si) + ε3·JerkAV, 若 s ∈ C
-α - β·D + ε1·RSS_Prop + ε3·JerkAV, 若 s ? C 且 s ∈ E
-c1·||vAV|| - c2·||aPed||, 若 s ? C 且 s ? E

其中ε1、ε2、ε3、α、β、c1和c2为超参数。K表示场景存储库的最大容量——一个存储导致碰撞的行人行为的轨迹缓冲区。如图3所示，每次成功的对抗回合后，产生的行人轨迹Ss被添加到场景存储库中。存储库中的轨迹根据它们与所有其他轨迹的累积DTW距离降序排列，这反映了其行为多样性。如果存储库超过容量K，则累积DTW距离最小的轨迹从存储库中移除，以维持多样性。

下载：下载高分辨率图像（214KB） 下载：下载全尺寸图像

图3. 基于DTW排名的场景存储库动态管理行人轨迹。

奖励函数定义在三个不同的仿真阶段上：（1）攻击进行中（s ? C 且 s ? E）：尚未发生碰撞，回合仍在进行；（2）任务终止但未碰撞（s ? C 且 s ∈ E）：当行人离开场景或仿真超过10秒时，回合在未发生碰撞的情况下结束；（3）碰撞达成（s ∈ C）：发生碰撞，表示成功的对抗攻击。公式(5)中各子函数的详细说明见附录B。

该奖励函数鼓励生成揭示漏洞的、多样化的且现实的碰撞场景，引导行人探索新颖的对抗策略，同时遵守合理的行为约束。

- **转移函数**：行人在时间步t执行动作后，AV和行人的状态使用运动学点质量动力学进行更新。例如，行人在下一时间步的纵向速度和位置计算如下：

(6) vxDed,t+1 = vxDed,t + ΔT·axPed,t

(7) xPed,t+1 = xPed,t + ΔT·vxDed,t + ?·vxDed,t+1

其中ΔT是仿真间隔（本研究中为0.2秒）。类似的更新规则适用于横向运动和AV的动力学。为简洁起见，这些运动学更新的完整实现细节在此省略。

4.3.

第一阶段：利用大语言模型生成少样本演示数据

在第一阶段中，大语言模型（LLM）被用于生成对抗性行人轨迹，这些轨迹作为先验知识来指导后续的建模阶段。在AST框架内，LLM演示数据的生成被表示为一个马尔可夫决策过程（MDP）：在每个时间步，给定当前状态和历史状态等输入，LLM输出行人动作，而自动驾驶车辆（AV）则由被测系统（SUT）控制。两个智能体的状态随后进行更新。如果行人离开场景、经过10秒或发生碰撞，则该回合结束。接下来，我们详细描述精心设计的提示词，用于从LLM中引导出行人动作。

LLM模块的提示词结构化为六个关键组成部分（如图4所示）：角色设定、背景信息、任务描述、仿真环境、当前与历史状态以及输出要求。以下对每个组成部分进行简要描述，完整的提示词示例见附录C。

图4. 用于生成LLM演示数据的提示词结构。

- 角色设定：将LLM赋予自动驾驶安全验证专家的角色，配备仿真测试所必需的领域专业知识。这包括行人行为建模、责任传感器（RSS）原则、空间推理等相关领域的专业知识。
- 背景信息：该部分为LLM模块提供关于安全关键场景中对抗性行人行为的基础知识，来源于Yang等人（2025b），例如高速横穿道路后突然折返的行人。还包括对RSS原则的简要解释，以指导安全意识测试用例的设计，使LLM模块具备生成具有挑战性的AV-行人交互场景的先验知识。
- 任务描述：该部分定义了生成挑战AV安全性的对抗性行人轨迹的目标，以及最大化AV违反RSS规则的概率，同时遵守强制性的物理约束。具体而言，根据Alsaleh和Sayed（2021）及Nasernejad等人（2021）的研究，行人速度大小不得超过3m/s，加速度大小必须保持在1m/s2以下。
- 仿真环境：该部分提供仿真设置的相关上下文信息，包括地图拓扑结构（如道路布局、人行横道）、实体状态（AV和行人）以及一般仿真参数，如时间步时长和仿真终止条件。
- 当前与历史状态：LLM接收AV和行人的实时及近期历史状态信息，包括当前及过去2秒内的位置和速度。这种时间上下文使LLM能够评估动态交互情况并做出有依据的轨迹决策。
- 输出要求：该部分指导LLM通过三步流程在当前时间步产生行人动作向量。首先，为解决LLM在空间推理能力方面的已知局限性（Chen等人，2024a），集成一个外部空间推理模块。该模块通过Python脚本实现，自动计算每个时间步AV与行人之间的相对位置和速度。其次，采用思维链（CoT）提示策略（Wei等人，2022），引导LLM进行结构化推理。轨迹生成任务被分解为五个顺序步骤：(1) 确定AV与行人之间的当前相对位置和速度；(2) 基于AV的历史运动预测其短期轨迹（前1-2个时间步）；(3) 从背景信息中选择最有效的对抗性行人行为（或通过组合已知模式提出新的变体）；(4) 计算执行人选行为所需的行人在x轴和y轴上的加速度；(5) 验证计算所得的加速度是否符合定义的物理约束。第三，提示词约束LLM仅以单行输出行人的加速度向量，抑制任何内部推理或解释性文本。

总体而言，LLM模块表示为：

(8) a_Ped = LLM(Role, Background, Task, Env, States, OutputRequirements)

通过将上述各组成部分整合到提示词中，LLM能够理解任务上下文，进行逐步推理，并最终输出当前时间步行人的加速度向量。需要注意的是，LLM的原始输出可能仍然存在物理不可行的情况。具体而言，生成的动作a_Ped,t通过 a_Ped,t ← a_Ped,t / max(1, ‖a_Ped,t‖) 进行截断，行人的速度v_Ped,t通过 v_Ped,t ← v_Ped,t · min(3, ‖v_Ped,t‖) / ‖v_Ped,t‖ 进行截断。因此，所有LLM生成的动作均通过动作截断和速度截断被投射到可行的动作和速度集合中。

4.4. 第二阶段和第三阶段：离线预训练与在线训练

在第二阶段和第三阶段中，我们引入了一种混合学习方法，将深度强化学习（DRL）与行为克隆（BC）相结合，并由带有两步排序机制的增强回放缓冲区提供支持。具体而言，在第二阶段，DRL策略网络通过对LLM演示数据中采样的状态-动作对进行行为克隆来初始化。在第三阶段，该预训练策略网络通过与仿真环境交互，使用标准DRL方法进行进一步训练。以下各小节详细阐述这一混合方法。

4.4.1. 行为克隆的初步介绍

行为克隆（BC）是一种监督学习方法，通过最小化智能体预测动作与专家动作之间的均方误差来训练策略模仿专家演示（Huang等人，2022）。具体而言，由参数θ参数化的策略网络π_θ(s)通过回放缓冲区中采样的状态-动作对集合 {(s_i, a_i)}_{i=1}^{Z} 进行优化：

(9) min_θ L(θ), L(θ) = (1/Z) Σ_{i=1}^{Z} ‖π_θ(s_i) - a_i‖2

其中，s_i和a_i分别代表观测到的状态和对应的专家动作，π_θ(s)表示策略网络预测的行人加速度向量。

然而，BC因缺乏交互性而容易过拟合和泛化能力不足受到批评。为克服这些局限性，我们用与环境主动交互的DRL来补充BC，收集并筛选高性能历史经验以增强鲁棒性和适应性。

4.4.2. 混合DRL-BC方法

我们的混合DRL-BC策略的基础是一种结构化学习架构，旨在通过策略性地引入高质量先验经验来克服传统DRL的低效问题（Li等人，2024a）。该框架偏离了典型的试错范式，首先通过专家指导建立稳健的行为基础，然后再进行主动探索，从而加速策略收敛并提升整体性能。

如图2所示，第二阶段构成离线预训练阶段，开启了DRL-BC学习流程。具体而言，策略网络使用在4.3节中生成的精选高质量LLM演示数据进行初始化。通过利用LLM强大的推理和自然语言理解能力，我们能够合成高质量的行人轨迹，无需代价高昂且危险的人工演示或大量环境交互。这些LLM演示数据作为专家知识的代理，用于通过BC预训练DRL策略网络，有效地将LLM"教师"的高层战略洞见传递给DRL"学生"。这种基于模仿的初始化赋予智能体信息化的行为先验，显著缩小了策略搜索空间，使后续在线训练中的探索更加高效和有方向性。

如图2所示，第三阶段过渡到在线训练阶段，预训练策略网络被部署到仿真环境中进行标准DRL训练。智能体主动与环境交互，积累经验并根据其动作接收奖励信号。在这些经验中，那些在回合奖励和即时奖励方面均表现优异的经验被选择性地保留在回放缓冲区中（详见4.4.3节的介绍）。DRL策略随后通过从该精选缓冲区中随机采样状态-动作对，并应用BC来模仿这些表现良好的历史轨迹进行更新。这种迭代优化使DRL智能体不仅能够在其初始知识基础上构建，还能适应动态场景，纠正LLM演示中可能存在的错误，并逐步优化其决策以追求更高的累积奖励。

关键创新在于这种无缝集成：DRL智能体并非从原始学习者开始，而是作为一个已经具备从LLM推理中提炼出的高层策略的知情且有能力的策略出发。LLM与DRL之间的这种协同效应确保了快速的学习起步和持续改进，从而在复杂任务中实现快速收敛和稳健的性能。

4.4.3. 两步回放缓冲区

标准DRL方法考虑了未来奖励，但在对抗性轨迹生成中，延迟的终端反馈仍可能使信用分配变得困难。因此，我们引入了一种经验选择策略，使用回合奖励和N步回报信息来指导策略更新的转换选择。

为缓解这些局限性，我们通过将回合奖励 R(I) = Σ_{t=0}^{N_I-1} r_t 作为同一回合内每个状态-动作对的附加信号来增强奖励信号。这意味着每个转换(s_t, a_t)现在关联着两个不同的奖励分量：回合奖励R(I)和即时奖励r_t。在此双重奖励框架的基础上，应用两步排序策略来识别和保留DRL训练中的高质量状态-动作对，从而提高样本效率和策略学习。该两步排序策略的流程如算法1所述。

算法1. 两步排序策略。

在第一层级，状态-动作对根据其关联的回合奖励进行排序。如公式(5)所定义，某些性能指标（如RSS关键帧比例RSS_Prop）仅在回合结束时才可计算。这些本质上属于延迟奖励，无法仅通过即时反馈来捕捉。因此，基于回合奖励评估轨迹确保了对长期对抗性有效性有贡献的动作获得优先处理。

尽管某个状态-动作对可能关联着较高的回合奖励，但这并不一定意味着该状态-动作对适合学习。高回合奖励可能是整个轨迹累积结果，可能掩盖了那些偶然导致有利结果的不理想单个动作。此外，在同一个回合内，产生较低即时奖励的动作并不一定是不理想的。动作的有效性必须在当前状态的上下文中进行解读。

因此，在第二层级，状态-动作对基于N步时间差分（TD）比率（Hessel等人，2018）进行排序。为此，我们首先计算从状态s_t开始的N步TD回报：

(10) r_N_t = Σ_{k=0}^{N-1} γ^k · r_{t+k}

其中r_{t+k}表示在第t+k步获得的即时奖励，γ为折扣因子。与即时奖励相比，该N步回报对未来奖励提供了更稳定、噪声更低的估计，促进了更快且更稳健的收敛（Sutton等人，1998）。

为评估给定转换的相对影响，N步TD比率定义如下：

(11) η_t = r_N_t / r_N_{t-1}

该比率量化了采取动作a_t之前和之后预期累积奖励的变化。η_t显著较高表明该动作使轨迹向高奖励结果的前进取得了实质性改进。因此，TD比率较大的转换被认为更具信息量，应保留用于DRL训练。

回合奖励捕捉完整轨迹的整体有效性，因为某些指标仅在回合结束时才可评估。相比之下，即时奖励提供细粒度的逐步反馈，帮助DRL智能体学习局部动态。这种集成增强了信用分配，使智能体能够更好地区分局部次优但全局有益的动作，最终支持生成更具对抗性的行人行为。

在实践中，在每个回合I完成后，我们首先确定N_o，即回放缓冲区中回合奖励已大于R(I)的状态-动作对当前数量。为维持固定的回放缓冲区大小D，然后计算从回合I中要插入的转换数量为 K = min{N_I, max(0, D - N_o)}。如果K > 0，我们选择回合I中N步TD比率排名前K的状态-动作对加入回放缓冲区。剩余的N_I - K个转换（其中N_I为回合I中的总转换数）将被丢弃。

4.5. 实现细节

所提出的LLM加速DRL模型由三个顺序阶段组成，应被视为一个完整的基于DRL的算法：(1) LLM在仿真循环中通过状态条件化的动作输出生成专家演示数据；(2) 这些演示数据用于通过BC预训练策略网络，在无需环境交互的情况下蒸馏LLM知识；(3) 智能体通过在线探索优化策略，保留高奖励转换用于进一步的BC更新。完整流程如算法2所述。

算法2. 基于LLM的行人轨迹生成框架。

5. 实验结果

5.1. 仿真环境设置

本节在标准的AV-行人交互场景中评估所提出的LLM加速DRL模型，如图5所示。

环境由一个坐标系定义，其原点在左下角，其中x轴水平延伸，y轴垂直延伸。场景发生在一条四车道的城市道路上，自动驾驶车辆（AV）向右行驶，驶向一个位于路段中间的人行横道，同时一名行人从路边出发试图过马路。为了隔离AV与行人之间的双向交互，场景中不存在其他交通参与者。该实验配置与先前研究中确立的方法论保持一致（Cai等人，2024；Corso等人，2019；Koren等人，2018）。下载：下载高分辨率图片（77KB）下载：下载全尺寸图片 图5. AV与行人交互场景。SUT代表AV的驾驶行为，采用IDM建模，参数取自Zhao等人（2023）（见表1）。为了展示我们的方法在不同AV之间具有泛化能力，在第5.6节中引入了两种具有不同行为特征的额外SUT配置，以评估更广泛的响应范围。表1. Zhao等人（2023）中IDM的参数。参数值期望速度36 m/s静止间隙3.3 m时间车头时距0.76 s加速度指数6.13最大加速度2.43 m/s2舒适减速度8.5 m/s2实验使用两个不同的数据集进行，每个数据集包含100个场景：一个用于训练，一个用于测试。在每个场景中，AV和行人的初始位置和速度从预定义分布中随机采样，以捕捉多样化且现实的交互动态。训练数据集用于优化对抗性行人策略以生成安全关键轨迹，而测试数据集用于在不更新参数的情况下评估训练好的策略。在每个回合开始时，从相应数据集中选择一个场景。AV根据SUT的固定策略（即IDM）运行，而行人则由被评估的训练策略（即LLM或DRL）控制。仿真按离散时间步推进，动作依次执行，环境状态依次更新。当满足以下终止条件之一时，回合结束：行人离开操作区域、仿真时间超过10秒或发生碰撞。LLM加速DRL模型的超参数（汇总于表2）基于先前研究中的既定实践进行配置（Cai等人，2024；Corso等人，2019；Li等人，2024a）。DRL智能体的策略网络由三个全连接层组成，每层包含64个神经元，并使用ReLU激活函数。为了促进训练过程中的探索，在智能体选择的动作上添加高斯噪声。为了生成先验演示，本研究采用DeepSeek-V3，温度设置为0，以确保输出确定性并最小化生成轨迹中的随机性（Gan等人，2025）。总共生成了30条演示轨迹并预加载到DRL回放缓冲区中。表2. LLM加速DRL框架的超参数。参数值LLM参数温度0策略网络参数优化器Adam策略网络隐藏层数3每层神经元数量64学习率0.0001回放缓冲区大小1000批大小64折扣因子0.99TD步数16奖励函数参数ε1100ε21ε35α1β0.5c10.1c20.1K15LLM加速DRL模型的训练曲线如图6所示。为了评估模型收敛性，使用50回合窗口的滚动均值对回合奖励进行平滑处理。该指标首先按回合计算累积奖励的平均值——从而对变化的回合长度进行归一化——然后应用移动平均以减弱噪声。如图所示，经过600个回合的训练，呈现出两个明显的阶段。最初的300个回合以奖励的陡峭且一致的增长为特征，标志着策略快速改进的时期。随后，奖励曲线进入稳定阶段，最终收敛到一个一致的平台，表明模型已达到较高的性能水平。下载：下载高分辨率图片（385KB）下载：下载全尺寸图片 图6. LLM加速DRL、Series DRL和Basic DRL的训练曲线。5.1.1. 基线方法我们比较了四种不同的方法来评估所提出的LLM加速DRL模型的有效性：• GridSearch（Tu等人，2023）：该方法在对行人加速度空间进行离散化后执行穷举搜索，选择使与AV距离最小化或引发碰撞的动作。• Learning-to-Collide（LC）（Ding等人，2020）：一种自回归REINFORCE模型，通过最大化碰撞和接近奖励来学习对抗性行人策略，以扰乱AV的正常运行。• Basic DRL：使用改编自Koren和Kochenderfer（2019）的奖励函数训练的软演员-评论家（SAC）智能体，用于生成安全关键的行人行为。该奖励函数不包含RSS或DTW。• Series DRL（Cai等人，2024）：与Basic DRL相比，Series DRL在奖励函数中纳入了RSS和DTW，以更好地捕捉安全故障归属和轨迹多样性。关键是，奖励函数与LLM加速DRL中使用的相同，从而在三种基于DRL的方法之间建立了逐步渐进的关系。5.1.2. 评估指标遵循先前的工作（Cai等人，2024；Corso等人，2019；Ding等人，2020；Guo等人，2025；Wang等人，2021），本研究采用了一组与AST框架对齐的结构化且可解释的评估指标：• 碰撞率（CR）：测试回合中AV与行人发生碰撞的百分比。CR反映了所生成的对抗性行人行为的安全关键性质。• RSS关键帧比例（RSS_Prop）：为了评估AV在安全关键情况下是否处于责任方，我们计算RSS关键帧占回合总帧数的比例。该指标有助于区分AV故障和行人引发的危险。• 行人轨迹多样性（PTD）：测量为场景库中行人的平均DTW距离，PTD评估所生成对抗性模式的多样性。高多样性可以防止冗余并增强改善AV控制策略的诊断价值。• AV平均加加速度（Jerk）：交互过程中AV的平均绝对加加速度，表明由突然制动或加速引起的乘坐不适。较高的加加速度意味着行人行为造成的破坏性影响更强。5.2. 评估结果• 收敛性：如图6所示，Basic DRL和Series DRL的收敛速度都较慢。例如，Series DRL需要大约720个回合才能稳定。相比之下，LLM加速DRL仅需300个回合即可达到稳定性能，显示出显著改进的样本效率。这一显著改进源于两种协同机制。首先，在离线预训练期间，智能体从LLM生成的演示中蒸馏出的先验知识进行初始化。其次，在线训练期间，它仅从高质量且表现良好的历史经验中学习。这加速了收敛并改善了策略指导。表3中的评估结果提供了测试数据集上五种对抗性行人生成方法的全面比较。表3. 不同轨迹生成方法的评估结果。方法CR RSS_Prop PTD Jerk（%）（%）（m）（m/s3）GridSearch 88 0.10 11.12 1.98LC 70 3.68 43.84 2.94Basic DRL 50 0.62 63.11 2.75Series DRL 53 5.38 49.91 3.27LLM加速DRL 89 6.21 123.17 3.06• CR：LLM加速DRL取得了89%的最高CR，超过所有其他方法，甚至优于依赖对整个动作空间进行穷举搜索的GridSearch。这代表了一个虽小但有意义的改进，表明LLM引导的策略不仅能够找到安全关键场景，而且通过利用来自LLM的先验知识更智能地做到这一点。• RSS_Prop：LLM加速DRL再次取得最佳结果，达到6.21%。LLM加速DRL获得最高RSS_Prop的事实表明，它成功学会了在边界安全条件下诱发AV做出责任方决策，有效地暴露了AV控制模型的缺陷。这可能是由于LLM能够推理AV-行人交互中的意图和时机，而这是传统DRL智能体难以从零开始捕捉的。附录D进一步提供了定性故障分析，以说明RSS关键交互和不当AV响应如何随时间产生。• 通过PTD衡量的轨迹多样性：LLM加速DRL达到123.17 m，显著优于所有基线方法。这种出色的多样性表明，生成的行人行为涵盖广泛的穿行角度、速度和时机策略。这对于AV的对抗性测试至关重要，因为它能够在各种背景下发现先前未见的故障模式。独立DRL的多样性较低，源于在长时间跨度的序列决策问题中冷启动探索的固有困难，而缺乏先验指导进一步加剧了这一挑战。• AV平均加加速度：虽然略微落后于Series DRL，但LLM加速DRL达到了极具竞争力的AV平均加加速度（3.06 m/s3）。这表明，尽管LLM加速DRL在即时AV响应方面不是最具破坏性的，但它在引发显著加加速度的同时，在所有其他指标上都取得了卓越表现。这种平衡是关键：它避免了为短期加加速度最大化而牺牲长期测试有效性的过拟合问题。总体而言，LLM加速DRL在CR、RSS_Prop和PTD方面排名第一，在加加速度方面排名第二，展现了全面的对抗性测试能力。与暴力搜索的GridSearch（缺乏故障归属）或受限于低多样性和狭窄探索的LC和Series DRL不同，它结合了LLM语义指导与DRL，以加速收敛、增强探索并生成更多样化和安全关键的行人轨迹。为了进一步评估泛化能力，我们在修改后的场景配置下进行了三项额外实验，包括更宽的六车道道路、行人横道位置偏移且AV反应距离缩短，以及针对对抗性行人策略的有噪声的AV状态观测。结果的详细总结提供在附录E中。在这些设置下，LLM加速DRL表现出优于基线方法的性能，表明所提出的框架不仅限于主实验中所考虑的默认道路拓扑。5.3. 生成行人轨迹的可视化图7展示了场景库中最终的K=15条对抗性行人轨迹。每条轨迹根据瞬时速度进行颜色编码，颜色条表明黄色对应较高速度（～3.0 m/s），紫色对应较低速度（～0.0 m/s）。这些轨迹的多样性通过PTD来量化，定义为场景库中所有行人轨迹之间的平均DTW距离。较高的PTD值反映更大的差异性和更丰富的行为变异性。下载：下载高分辨率图片（1MB）下载：下载全尺寸图片 图7. GridSearch、LC、Basic DRL、Series DRL和LLM加速DRL生成的行人轨迹。• GridSearch（图7(a)）生成的轨迹相对聚集，遵循相似的曲线路径，主要局限于x=45?52.5 m和y=2?6 m范围内。虽然在速度和曲率方面有轻微变化，但总体模式显示有限的发散性。• LC（图7(b)）主要产生直线路径，具有持续的高速段（黄色），汇聚向一个共同的终点。这些路径高度相关，在形状或时机上几乎没有偏差，导致所有方法中最低的PTD。• Basic DRL（图7(c)）生成的路径比LC略有更多变化，包含一些曲线段和适度的速度变化。然而，轨迹仍然集中在空间的中心附近，形成x=43.5?50 m和y=2?5 m周围的紧密集群。• Series DRL（图7(d)）产生的轨迹相对平滑，但其PTD低于Basic DRL。虽然路径显示更好的空间覆盖和一些曲率变化，但大多数仍遵循相似的总体弧线，限制了它们的差异性。• LLM加速DRL生成了最具多样性的行人轨迹集。在图7(e)中，轨迹展示了广泛的形状、空间范围和动态行为：一些遵循平滑弧线，其他包含急转弯或环形模式，还有几条在Y方向上显著延伸直至8 m，远远超过其他方法生成的轨迹。路径曲率、横向位移和速度分布的这种丰富变化反映了复杂的行人行为，如突然横向移动、犹豫、前后运动、U型转弯和可变速度穿行策略。图7(e)中生成的轨迹包含急转弯和环形图案，应将其解释为用于压力测试的罕见安全关键边缘案例，而非典型的行人移动。类似的行为，如高速穿行并频繁改变方向以及在进入道路后快速掉头，已在先前研究中被记录（Yang等人，2025b）。所提出的框架进一步强制施加加速度和速度约束以防止动态不可行的运动，并使用RSS_Prop来区分诊断上有用的边缘案例和退化的碰撞寻求行为。总之，LLM加速DRL方法生成的行人轨迹比其他四种方法具有显著更高的多样性。这种增强的多样性确保了AV暴露于更广泛且更具挑战性的行人行为范围，从而提高其在现实驾驶场景中的鲁棒性、适应性和安全性能。5.4.

与其他大语言模型的对比结果

除了最先进的轨迹生成方法，我们还将LLM加速的深度强化学习（DRL）与四个大语言模型进行了对比：DeepSeek-V3、GLM-4.5、Kimi-K2和Qwen3-30B。这些LLM用于从测试数据集中生成对抗性行人轨迹，采用第4.3节中介绍的相同提示。需要注意的是，这些LLM的选择依据是截至2025年7月在LLM排行榜上的可用性和性能排名。

如表4所示，虽然单独的LLM在特定指标上展现出孤立的优势，但它们普遍存在严重的能力不平衡和行为多样性有限的问题，无法同时执行有效的碰撞和探索多样化的对抗模式。相比之下，LLM加速的DRL是唯一在碰撞率和轨迹多样性两项指标上均排名第一的方法，同时保持具有竞争力的自动驾驶车辆不适感。

表4. 不同LLM的评估结果。

| 方法 | CR (%) | RSS_Prop (%) | PTD (m) | Jerk (m/s3) |
|------|--------|--------------|---------|-------------|
| DeepSeek-V3 | 84 | 4.47 | 72.45 | 3.10 |
| GLM-4.5 | 39 | 10.66 | 46.52 | 3.02 |
| Kimi-K2 | 41 | 8.38 | 41.30 | 2.89 |
| Qwen3-30B | 59 | 6.98 | 50.75 | 3.03 |
| LLM加速的DRL | 89 | 6.21 | 123.17 | 3.06 |

图8展示了推理时间和物理约束违反率：推理时间衡量方法生成输出所需的平均时长，而物理约束违反率衡量超过动作限制（即1m/s2）的输出比例。可以观察到，LLM加速的DRL以3.2×10??秒的推理时间实现了卓越性能，比单独的LLM快超过四个数量级。这是因为单独的LLM必须处理冗长的标记序列，并为每个输出执行复杂的自回归解码。值得注意的是，LLM加速的DRL的物理约束违反率为零，而单独的LLM频繁生成物理上不可行的动作，尤其是Qwen3-30B和Kimi-K2。这源于LLM缺乏对物理动力学的内在认知。即使有明确的约束，它们也经常生成违反硬性动作限制的输出。

图8. 推理时间和物理约束违反率。

值得注意的是，所有单独的LLM的PTD值都远低于LLM加速的DRL，揭示了它们在行为探索方面的共同局限性。这在图9中清晰可见，它们生成的轨迹表现出高度的空间相关性，以紧密聚集和几乎相同的曲率模式为特征。例如，Kimi-K2（图9(c)）产生了最受限的一组轨迹，这些轨迹主要是短的、直的且提前终止的。这种行为收敛源于LLM的自回归生成过程。尽管接收到更新的环境状态，但这些单独的LLM并未通过奖励驱动的策略更新进行优化。我们提出的框架明确地将覆盖行为分布尾部的互补角色交给DRL阶段。

图9. 由DeepSeek-V3、GLM-4.5、Kimi-K2和Qwen3-30B生成的行人轨迹。

总之，我们的LLM加速的DRL方法（图7(e)）利用LLM衍生的语义先验来初始化策略，并通过DRL与环境的交互对其进行精炼。与受高延迟和有限探索阻碍的单独LLM不同，我们的方法实现了实时推理和卓越的行为多样性，使其在高效和多样化的自动驾驶车辆对抗测试中独具效果。

5.5. 敏感性分析

所提出的LLM加速的DRL方法集成了LLM生成的演示、DRL、行为克隆（BC）和由两步排序机制增强的回放缓冲区。为了评估这些组件的贡献和有效性，本节进行了全面的敏感性分析。

5.5.1. LLM演示的影响

在之前的实验中，使用DeepSeek-V3生成了30个专家演示，随后用于训练DRL模型。为了进一步调查所提出的LLM加速的DRL模型的有效性和鲁棒性，本节考察了两个关键因素的影响：用于演示生成的LLM选择以及演示规模。需要注意的是，第4.3节中设计的提示仍用于生成专家演示。

• LLM类型的影响：表5展示了使用不同LLM生成的专家演示的LLM加速DRL方法的性能。可以观察到，使用DeepSeek-V3演示训练的模型实现了最佳的整体性能，在CR、RSS_Prop、PTD和Jerk方面产生了最高的值，表明其在生成对抗性行人轨迹方面具有卓越的能力。

表5. 使用不同LLM进行轨迹生成的LLM加速DRL的评估结果。

| 演示生成方法 | CR (%) | RSS_Prop (%) | PTD (m) | Jerk (m/s3) |
|-------------|--------|--------------|---------|-------------|
| DeepSeek-V3 | 89 | 6.21 | 123.17 | 3.06 |
| GLM-4.5 | 88 | 3.10 | 105.95 | 2.88 |
| Kimi-K2 | 84 | 3.64 | 88.82 | 2.96 |
| Qwen3-30B | 86 | 3.22 | 89.12 | 3.00 |

从分析中得出两个关键见解。首先，比较表5与表3，我们发现无论使用哪种LLM，LLM加速的DRL仍然优于传统方法，这凸显了所提出模型的鲁棒性。例如，即使使用Kimi-K2生成的演示，该方法也能实现84%的CR和88.82m的PTD，分别比Series DRL基线提高了58.49%和77.96%。其次，与表4相比，将LLM生成的演示集成到DRL训练过程中通常能提升整体性能，尽管存在一些权衡。例如，在LLM加速的DRL设置中，Qwen3-30B的RSS_Prop降低了53.87%，但其CR提高了45.76%，PTD增加了75.61%，表明DRL智能体受益于LLM演示中编码的结构先验知识。

在各种LLM下持续的性能提升凸显了所提出的LLM加速DRL模型的鲁棒性和通用性。值得注意的是，即使使用次优LLM（如Kimi-K2）的演示，所提出的模型也显著优于传统DRL基线，表明即使不完美的专家演示也可以作为有价值的先验来指导策略初始化和探索。

• 演示数量的影响：我们进一步调查了插入DRL模型回放缓冲区中的LLM生成演示规模的影响。如图10所示的结果是使用DeepSeek-V3生成不同规模（0、10、20、30、40、50）的演示获得的。需要注意的是，0个演示的情况对应于没有离线预训练，因为没有将专家演示引入回放缓冲区。

图10. 不同演示规模的LLM加速DRL评估结果。

当演示数量从0增加到30时，所有性能指标都表现出显著改善。这表明，即使纳入少量高质量专家演示也能大幅增强DRL智能体的初始学习效率，在30个演示时达到最佳性能。然而，当演示规模超过30时，大多数指标开始下降。这表明存在一种权衡：虽然更大的演示集提供了更丰富的初始指导，但过度依赖回放缓冲区中的LLM生成演示可能会挤出通过环境交互收集到的宝贵经验。因此，智能体可能过度依赖合成演示而无法有效泛化。

有趣的是，这种权衡还凸显了我们框架的一个优势：它使得使用有限数量的专家演示进行高效预训练成为可能，避免了对整个训练数据集进行大规模数据生成的需要，这是一个计算昂贵的过程。

5.5.2. 回放缓冲区的影响

为了评估第2阶段中BC的作用，我们进行了一项消融研究，其中LLM生成的演示被添加到回放缓冲区中，但跳过了第2阶段——即不进行通过BC的策略初始化，而是直接开始在线DRL训练。此外，为了检验两步排序策略的有效性，我们用容量为20,000的标准回放缓冲区替换它，该缓冲区存储所有环境交互而不进行排序和过滤。

结果如表6所示，凸显了两个组件的重要性。当省略第2阶段时，除RSS_Prop外的所有指标都与原始LLM加速DRL相比显著退化。这些结果表明，BC有效地将LLM的高质量先验知识转移到策略中，为DRL智能体提供了更强的起点。此外，完整方法在CR、RSS_Prop和PTD方面优于没有两步排序方法的变体。这种性能提升得益于两步排序机制，它过滤掉低质量轨迹以提高样本效率并加速策略收敛，从而促进更多暴露漏洞且多样化的行人行为的产生。

表6. 消融不同组件的LLM加速DRL评估结果。

| 方法 | CR (%) | RSS_Prop (%) | PTD (m) | Jerk (m/s3) |
|------|--------|--------------|---------|-------------|
| 消融第2阶段 | 39 | 7.13 | 59.20 | 2.92 |
| 消融两步排序方法 | 86 | 5.44 | 101.68 | 3.05 |
| 原始LLM加速DRL | 89 | 6.21 | 123.17 | 3.06 |

5.6. SUT配置的影响

在本小节中，我们使用两种替代的SUT配置进一步评估所提出框架的鲁棒性：Shi等人（2023）的保守IDM参数化和Yang等人（2025a）的基于全速度差模型（FVDM）的控制器。与之前实验（Zhao等人，2023）中使用的原始IDM设置相比，这两种配置采用了较低的期望速度设置，导致更不激进的自动驾驶车辆行为。通过测试不同跟车模型的SUT，我们评估所提出的LLM加速DRL模型是否在原始自动驾驶车辆配置之外仍然有效，并定量比较不同SUT的智能水平（Ma等人，2024）。如表7和表8所示，所提出方法在替代SUT设置下保持了最佳的整体性能，证明其有效性不是原始激进IDM配置的产物，而是在不同自动驾驶车辆控制模型和参数化下仍然鲁棒。

表7. 不同轨迹生成方法在保守IDM下的评估结果。

| 方法 | CR (%) | RSS_Prop (%) | PTD (m) | Jerk (m/s3) |
|------|--------|--------------|---------|-------------|
| GridSearch | 89 | 0.12 | 20.71 | 1.49 |
| LC | 39 | 9.63 | 84.75 | 2.21 |
| Basic DRL | 50 | 5.50 | 74.64 | 2.43 |
| Series DRL | 53 | 7.12 | 61.64 | 2.54 |
| LLM加速的DRL | 95 | 13.81 | 152.37 | 2.47 |

表8. 不同轨迹生成方法在FVDM下的评估结果。

| 方法 | CR (%) | RSS_Prop (%) | PTD (m) | Jerk (m/s3) |
|------|--------|--------------|---------|-------------|
| GridSearch | 88 | 3.15 | 48.95 | 2.39 |
| LC | 42 | 14.30 | 34.38 | 2.84 |
| Basic DRL | 65 | 13.01 | 65.73 | 2.75 |
| Series DRL | 44 | 14.68 | 34.70 | 2.55 |
| LLM加速的DRL | 84 | 11.77 | 108.50 | 3.02 |

更重要的是，图11显示所提出的框架可以进一步区分不同SUT的行为特征。保守IDM（Shi等人，2023）在CR、RSS_Prop和PTD方面产生了最强的整体性能，同时产生的Jerk低于原始IDM（Zhao等人，2023），表明其更不激进的驾驶风格为行人提供了更多执行多样化和安全关键机动动作的机会。相比之下，原始IDM表现出更高的Jerk，反映了更突然的加速和减速响应。基于FVDM的控制器（Yang等人，2025a）呈现了不同的权衡，具有相对较高的RSS_Prop和Jerk，但CR和PTD低于保守IDM。这些结果表明，LLM加速的DRL不仅在不同的自动驾驶车辆控制模型中保持有效，还能够实现对SUT行为的多维区分。

图11. 不同SUT的智能评估。

6. 结论

本研究提出了一种新颖的LLM加速DRL模型，用于在与行人交互时对自动驾驶车辆进行对抗性测试。超越现有仅依赖LLM或DRL的方法，我们的方法协同结合了它们的优势。它利用LLM的推理和上下文学习能力进行高质量策略初始化，同时利用DRL在在线部署期间的强大探索和快速推理性能。该方法包括三个关键阶段：（1）通过精心设计的提示生成LLM演示；（2）通过BC进行离线策略网络预训练；（3）通过在线经验收集进行标准DRL训练。为了提高学习效率并缓解延迟奖励和信用分配等挑战，我们引入了一个配备两步排序机制的回放缓冲区，该机制根据 episodic 和即时奖励优先排序经验。

实验结果表明，LLM加速的DRL在CR、RSS_Prop和PTD等关键指标上显著优于基线方法，如GridSearch和Basic DRL。这种卓越性能归因于该模型将高级对抗策略蒸馏到其策略中的能力，以及将训练集中在高质量经验上的能力。值得注意的是，LLM加速的DRL在CR、PTD和推理时间方面也超越了单独的LLM，同时实现了实时性能，速度快超过四个数量级。这表明DRL的集成使框架能够超越LLM的重复性和高级模式，发现更多样化且高影响的对抗行为。

敏感性分析确认了我们的框架在不同LLM架构中的鲁棒性，同时强调了仔细选择LLM生成演示数量的重要性，以避免过拟合并确保有效探索。消融研究进一步强调了通过BC进行离线预训练和两步排序回放缓冲区在提升整体性能中的关键作用。此外，该框架展示了区分SUT智能水平的强大能力，证明了其作为自动驾驶车辆决策定量评估工具的实用性。

本研究揭示了几个有前景的未来工作方向。首先，将所提出框架扩展到多行人对抗设置仍然是一个重要的未来方向，因为它需要协作式基于LLM的多智能体系统、联合动作建模和更复杂的信用分配机制来处理多个行人智能体之间的交互。其次，虽然本研究聚焦于受控的自动驾驶车辆-行人交互场景，未来工作将把框架扩展到更现实的自动驾驶车辆在环环境中，包括周围交通、感知不确定性和更复杂的交互场景。第三，利用LLM的高级因果推理能力建模多种碰撞归因，为合成高度复杂和多因素安全关键场景提供了一条有前景的途径。

CRediT作者贡献声明

Xiao Wen：撰写——审稿与编辑，撰写——初稿，方法论，调查研究，形式分析，数据管理，概念化。

Wentao Huang：撰写——审稿与编辑，调查研究。

崔智勇：写作 – 审阅与编辑，方法论。简思思：写作 – 审阅与编辑，写作 – 原稿撰写，监督指导，方法论，经费获取，形式分析，概念构思。Xiao Wen|Wentao Huang|Zhiyong Cui|Sisi Jian