偏好加权扩散 Transformer 用于安全自动驾驶中的两阶段轨迹级规划

《Expert Systems with Applications》：Preference-weighted diffusion transformer for two-stage trajectory-level planning in safe autonomous driving

　　

# 摘要

离线强化学习使得自动驾驶策略可以从静态数据中学习，但不足的安全性和不确定性建模可能导致在分布偏移下产生脆弱的决策。我们提出了偏好加权扩散Transformer（PW-DiT）用于轨迹级规划。其保守偏好分数结合了预测价值、成本和认知不确定性。训练首先通过轨迹克隆预训练学习状态-轨迹先验，然后应用偏好加权去噪与教师引导的KL锚定。在推理时，规划器生成候选状态轨迹，通过相同的分数对其进行排序，并通过逆动力学将所选轨迹的第一个转移映射为动作。在安全强化学习数据集（DSRL）基准上，PW-DiT在MetaDrive上实现了0.65/0.69的平均归一化分数/归一化成本值，在CARLA上为0.40/0.82，在评估的各项任务中提供了良好的安全性-性能权衡。

# 引言

自动驾驶（AD）需要决策系统在复杂交通交互、长尾事件和分布偏移下安全运行（Awan, Whangbo, Shin, 2025, Gupta, Jain, Choudhary, Parida, 2024, Wu, Hou, Gan, Chen, 2026）。离线强化学习为自动驾驶提供了一种有前景的范式，因为它使得能够从静态数据集中学习策略，而无需在真实交通环境中进行危险的在线探索（Diehl, Sievernich, Krüger, Hoffmann, Bertram, 2023, Figueiredo Prudencio, Maximo, Colombini, 2024）。然而，从离线数据中学习安全的驾驶策略仍然充满挑战。由于学习的策略在训练期间无法与环境交互，它可能选择数据集中缺乏支持的动作或轨迹，导致外推错误和不安全行为（Kumar, Zhou, Tucker, & Levine, 2020）。此外，许多离线RL方法主要优化期望回报，并不显式考虑成本或认知不确定性，这在安全关键的自动驾驶场景中尤为问题（García, Fernández, 2015, Lockwood, Si, 2022）。

上述挑战在将自动驾驶视为长时域规划问题时变得更加突出。首先，动作级策略学习可能无法捕捉轨迹级的安全后果，因为局部高价值动作可能导致未来的约束违反。其次，以奖励为导向的优化可能倾向于激进行为，虽然能提高任务性能，但会增加碰撞或约束违反的风险。第三，离线数据集有限的覆盖范围和混合质量使得在不熟悉区域中的价值和成本估计不可靠（Bai, Wang, Yang, Deng, Garg, Liu, Wang, 2022, Ghasemipour, Gu, Nachum, 2022）。因此，自动驾驶的安全离线决策需要一个规划框架，能够同时考虑长时域回报、成本和不确定性，同时保持与数据支持的轨迹分布的接近。

本文提出的偏好加权扩散Transformer（PW-DiT）在轨迹级层面解决这些挑战。扩散Transformer生成未来状态序列，保守分数评估其预测价值、成本和认知不确定性。第一阶段学习离线轨迹先验；第二阶段强调高偏好片段，同时教师引导的KL项限制与该先验的偏离。在推理时，相同的分数对多个候选进行排序，逆动力学策略将所选转移转换为动作。此设计使优化和部署标准对齐，无需扩散规划器直接生成动作。总之，本文的主要贡献如下：

1）理论贡献。我们证明了标准化偏好分数保持了原始保守效用的排序，提出了联合单侧校准条件下条件置信下界Lagrange解释，并推导了指数加权规则作为KL正则化轨迹分布问题的解。

2）方法论贡献。我们引入了分数耦合规划器，其保守偏好准则重新加权第二阶段去噪并对推理时轨迹进行排序，使训练与部署对齐。教师引导锚定限制与离线先验的偏离，而逆动力学将状态规划与动作执行分离。

3）实证贡献。在安全强化学习数据集（DSRL）协议（Liu et al., 2024）下，MetaDrive（Li et al., 2023）和CARLA（Dosovitskiy, Ros, Codevilla, Lopez, & Koltun, 2017）上的实验涵盖了安全离线RL、通用离线RL、序列和扩散基线。安全指标、估计器比较、消融实验、参数可扩展性以及两个硬件平台上的匹配测量表征了有效性和计算成本。

本文的其余部分组织如下。第2节回顾相关文献并定位PW-DiT。第3节介绍问题公式，第4节提出PW-DiT。第5节报告实验，随后是第6节的实用讨论和第7节的结论。

# 部分节选

## 用于安全自动驾驶的离线强化学习

离线强化学习旨在从固定数据集中学习策略而不进行进一步的环境交互，这使得它适用于自动驾驶，因为在真实环境中在线试错可能不安全且成本高昂（Figueiredo Prudencio et al., 2024）。离线RL中的核心难点是分布偏移：学习的策略可能选择数据集中很少或从未观察到的动作，导致外推错误和不可靠的价值估计。为了解决这个问题，

## 问题设置

我们将自动驾驶表述为约束马尔可夫决策过程（CMDP）（Achiam, Held, Tamar, & Abbeel, 2017），表示为（S, A, P, r, c, γ, μ, b）。其中 S 和 A 是状态空间和动作空间；P(s'|s,a) 表示转移动力学；r(s, a) 是奖励；c(s, a) ∈ [0, cmax] 是每步成本。参数 γ ∈ (0, 1) 是折扣因子，μ 是初始状态分布，b 指定长时域安全预算。策略 π(a|s) 将每个状态映射到

## 方法论

PW-DiT在整个流程中使用一个轨迹级准则（如图1所示）。第4.1节定义保守偏好分数及其加权解释；第4.2节和4.3节描述估计器和两阶段规划器训练；第4.4节给出闭环生成、评估、选择和执行程序。

## 实验设置与评估方案

我们在MetaDrive（Li et al., 2023）和CARLA（Dosovitskiy et al., 2017）上评估PW-DiT。对于MetaDrive，我们采用官方DSRL（Liu et al., 2024）配置，该配置对道路结构和交通密度形成3×3网格，产生九个场景（例如easysparse、mediummean、h ard dense）。如图2所示，三列对应稀疏/中等/密集交通，三行对应简单/中等/困难道路结构，从(a)产生九个场景地图

## 理论解释的条件

命题1是一个代数排序等价结果，需要正归一化尺度。命题2是有条件的：它仅适用于决策步考虑的有限候选集，当价值和成本估计器满足假设1中的联合单侧校准事件且不确定性惩罚主导相应的校准系数时。这些条件产生了一个置信下界Lagrange替代目标；它们并未建立全局最优性或严格

## 结论

本文提出了PW-DiT，一种用于从离线自动驾驶数据进行轨迹级规划的偏好加权扩散Transformer。PW-DiT使用保守偏好分数，该分数结合了预测价值、成本和认知不确定性，将训练和推理联系起来。其两阶段过程首先通过轨迹克隆预训练学习状态-轨迹先验，然后进行偏好加权微调并配合教师引导的KL锚定。在推理时，候选

# 作者贡献声明

Xiaohan Huang：概念化、方法论、软件、验证、形式分析、调查、数据整理、可视化、写作——初稿、写作——审阅与编辑。Xuesong Wang：概念化、方法论、监督、项目管理、写作——审阅与编辑。Yuhu Cheng：概念化、方法论、监督、项目管理、写作——审阅与编辑。

# 利益冲突声明

作者声明他们没有已知的相互竞争的经济利益或个人关系可能会影响本文中报告的工作。

Xiaohan Huang | Xuesong Wang | Yuhu Cheng