基于社会价值导向的自动驾驶车辆博弈论式车道变换决策方法 冯鹏（Feng Peng） 孙海明（Haiming Sun） 孙川（Chuan Sun） 史浩（Hao Shi） 卢伟克（Weike Lu） 李浩然（Haoran Li） 杨俊茹（Junru Yang） 陈胜龙（Shenglong Chen）

《Electronics》：Game-Theoretic Lane-Change Decision-Making for Autonomous Vehicles Based on Social Value Orientation Feng Peng, Haiming Sun, Chuan Sun, Hao Shi, Weike Lu, Haoran Li, Junru Yang and Shenglong Chen

　　摘要 人类驾驶车辆（HVs）与自动驾驶车辆（AVs）在混合交通中的长期共存对高速公路上的变道互动提出了重大挑战。为了解决这一问题，我们提出了一个以社会价值取向（SVO）为中心的闭环决策框架，该框架涵盖了从识别到备用方案执行的整个过程。首先，我们使用最大熵逆强化学习（MaxEnt-IRL）从NGSIM数据集中推断出驾驶员的SVO参数（??????????），将这些参数量化为可学习的权重，以衡量自私行为与合作行为之间的权衡。然后，这些参数通过条件嵌入被纳入基于Transformer的预测器中，使模型能够从相同的历史数据生成个性化的轨迹。此外，在一个滚动时域的博弈论框架内，我们将偏好加权的收益与这个条件预测器结合起来，并引入了一个动态的变道中止机制。如果继续变道的预期收益低于中止的收益，该机制会触发由APF + MPC控制器生成的中止操作。在1000个对抗性场景中的模拟表明，与IDM + MOBIL基线相比，我们的方法显著提高了变道成功率和巡航效率。它还显著减少了遇到具有攻击性或自私行为的车辆时的强制并线和危险事件，证明了我们这种考虑偏好的模型和中止机制的安全性和鲁棒性。

1. 引言
随着自动驾驶系统在公共道路上的普及，确保它们与人类驾驶员的互动是可解释的、协作的和安全的——尤其是在像变道这样的复杂操作中——是一个巨大的挑战。统计数据显示，变道和并线操作仍然是最危险的驾驶行为之一。最近对自动驾驶车辆碰撞类型的分析显示，追尾和与变道相关的碰撞最为频繁，占报告的AV事故的50%以上[1]。此外，在混合交通的过渡阶段，自动驾驶车辆（AVs）的安全效益受到人类驾驶车辆（HVs）不可预测性的严重挑战。评估混合交通安全的研究证实，人类驾驶错误和不稳定的切入行为是限制不完美自动驾驶系统安全提升的主要冲突诱因[2]。最近的实证评估还表明，低AV渗透率（例如，低于20%）并不一定会提高交通安全，实际上可能会由于AV的确定性逻辑与HVs的随机社会偏好之间的行为不匹配而在并线区域加剧碰撞风险[3]。
混合交通环境的一个核心难点是代理的固有异质性：AVs通常遵循预设的最优策略，而HVs则表现出广泛的社会偏好和依赖于上下文的行为。忽视这种异质性可能会在AV的预测和决策模型中引入系统偏差，导致在突然堵塞、强制并线或安全车距突然丧失等对抗性场景中的失败。这些失败显著增加了碰撞的风险。因此，将人类的社会偏好编码到AV的规划和预测流程中至关重要。
人类驾驶行为的特点是驾驶员之间的显著差异以及同一驾驶员内部的行为变化。一个人的行为受到感知、经验、风险容忍度和认知状态的复杂相互作用的影响，这导致了个体之间不同的驾驶风格以及同一人随时间变化的行为。系统地建模这种行为是必不可少的：它不仅阐明了人类的感知-判断-行动循环，还为AV提供了强大的计算先验。早期的研究主要集中在分类和识别上，使用了从聚类（K-means、模糊逻辑）[4,5,6,7]到行为识别范式如神经网络（NNs）[8,9]、隐马尔可夫模型（HMM）[10,11,12]、模糊控制[13,14]和高斯混合模型（GMM）[15,16,17]等方法。这些努力建立了特征提取、建模和识别的基础流程。在此基础上，Bifulco等人比较了线性、多项式和前馈神经网络（FFNN），得出“更大的复杂性并不一定更优越”的结论[18]，而Liu等人通过注意力增强的CNN–LSTM（DSDCLA）[19]在短期和长期依赖性下提高了风格识别的准确性。
轨迹预测是驾驶员识别与AV决策之间的关键桥梁。该领域已经从基于可解释物理的模型[20,21]发展到更复杂的方法，包括推断驾驶员意图的层次模型[22]以及为拥堵环境量身定制的交互感知模型[23,24]。最近，将深度学习与社会交互建模相结合，在标准预测指标（如ADE/FDE）和整体鲁棒性[25,26,27,28]上取得了显著改进。总体而言，这些进步使AV能够分类驾驶风格并预测附近车辆的可能运动。然而，对于像变道这样安全关键且高度交互的操作来说，这种范式仍然存在根本性的不足。依赖于粗略的“驾驶员类型”标签或简单的动作概率无法使AV具备做出既可解释又可逆的高级战略决策的能力。
随着从识别到预测的进展，研究重点自然扩展到了用于建模战略决策的博弈论框架。这些模型的一个关键输入是准确推断驾驶员意图。早期的努力结合了隐马尔可夫模型（HMMs）和神经网络来预测变道操作[29]。在此基础上，Li等人实现了一个完整的闭环系统，其中基于GMHMM的意图识别模块的输出直接指导了一个控制器，其奖励函数平衡了安全性、效率和舒适性[30]。博弈论核心本身已经通过多种形式进行了探索。例如，Huang等人构建了一个可适应不同驾驶风格的变结构游戏[31]，而其他研究则专注于使用收益均衡模型在特定冲突场景中定义最优避让策略[32]。
后续的工作试图通过解决不同尺度下的混合交通复杂性来提高这些模型的真实性。在宏观层面，最近的研究显著推进了对基本交通流量和拥堵动态的理解。例如，研究开发了一种拥堵边界方法来管理交通流量的相位转换[33]，并提出了数据驱动的随机基本图（SFD）建模来捕捉混合交通的系统性不确定性[34]。由于这些宏观交通现象从根本上是由个体车辆的聚合互动驱动的，因此在微观层面准确捕捉人类行为变得不可或缺。因此，在微观层面上，建模人类异质性和交互不确定性仍然是主要关注点。这已经通过层次框架[35]和不完全信息游戏[36]来解决。
最近的一个重要趋势是将经典博弈论与现代机器学习相结合，以利用两种范式的优势。这些混合方法显示出相当大的潜力。例如，Xu等人提出了EGTML，该模型将进化博弈论与机器学习相结合，以实现更优的性能[37]，尤其是在训练数据稀疏的情况下。同样，Liu等人通过结合交互导向识别与游戏公式化和专家模式学习来开发了一个专家策略库，以提高决策的时机和准确性[38]。这种协同作用也成功地扩展到了多智能体强化学习中，其中博弈论原则被用来约束学习过程，产生可协商和合作的策略[39]。
总之，尽管之前的工作在建模驾驶行为和解决交互游戏方面取得了显著进展，但仍然存在两个关键差距。首先，人类偏好通常使用隐式的、离散的标签（如“攻击性”来捕捉，这些标签缺乏统一、可解释和可连续调整的表示，无法在感知和规划模块之间共享。其次，大多数模型将变道视为不可避免的、向前进行的动作，很大程度上忽略了导致驾驶员中止操作并执行安全备用方案的理性决策过程。
为了解决这些差距，本文提出了一个以社会价值取向（SVO）为中心的新决策框架，这是一个来自社会心理学的概念，用于量化自私行为与利他行为之间的权衡。我们的框架通过以下贡献建立了一个从识别到备用的完整循环：(1)我们从真实世界数据中识别出可解释的SVO参数，并使用它们来条件化一个交互感知的轨迹预测器，增强了其因果一致性；(2)我们将这些SVO偏好明确纳入博弈论规划器的收益结构，并引入了一个动态中止标准，以实现风险意识强的、可逆的决策；(3)我们设计了一个强大的控制器，在触发中止时执行平滑且安全的备用轨迹。该方案将偏好表示、交互感知预测、博弈论决策和安全导向控制整合到一个逻辑上连贯、可解释且可逆的技术流程中，具有明确的工程部署潜力。

2. 方法
2.1. 从SVO权重到角度表示
社会价值取向（SVO）表达了个体如何在自我利益与其他关心之间进行权衡。为了使这种权衡既可视又可比较，我们将通过MaxEnt-IRL学到的偏好权重投影到一个简单直观的二维极坐标系统中：水平轴表示自我利益的强度，垂直轴表示对他人的关心的强度。
我们首先以向量形式写出SVO权重：
(1) 具体来说，衡量效率和乘坐舒适度偏好的强度；衡量对他人的安全和礼貌偏好的强度；表示其余工程偏好的权重向量，这些偏好细化了风格，但不参与SVO角度的计算。
我们将两个主要的SVO权重表示为（自我关注的）和（他人关注的）。在我们的实现中，被限制为非负值以保持可解释性，而允许取负值以表示竞争倾向。因此，SVO角度计算为，产生。正的表示亲社会倾向，对应于个体主义行为，负的表示竞争倾向。大小反映了偏好强度，并在IRL过程中进行规范化以避免尺度膨胀。
SVO角度在二维平面上定义。设完整的IRL权重向量为，其中聚合了对部署重要的辅助设计偏好，但不定义SVO方向，包括车道居中、横向偏移惩罚、横向平滑度（||和抖动）、速度跟踪、效率（）、舒适度（）和安全裕度塑造项（例如，TTC惩罚斜率）。在我们的实现中，= 8。因此，等于超出两个SVO定义通道的辅助特征通道的数量。
(2) 如图1所示，我们将学到的权重投影到一个二维极坐标平面上，水平轴表示自我关注权重，垂直轴表示他人关注权重。在这个框架中，驾驶员的社会偏好由SVO角度唯一确定。几何表示定义了一个连续的驾驶风格谱：(个体主义)：对应于水平轴，驾驶员优先考虑自己的效率和舒适度，而对他人效用漠不关心。(亲社会和利他主义)：上半象限表示对他人的积极关心。随着向垂直轴的增加，行为从合作（亲社会）转变为自我牺牲（利他主义），通常表现为更大的时间车距和更平滑的让行操作。(竞争和攻击性)：下半象限表示对他人的消极关心。较大的负值意味着更强的竞争或惩罚其他道路使用者的倾向，通常表现为积极的间隙关闭或强制并线以确保相对优势。角度的大小因此量化了从纯粹的自我利益向合作或攻击性的偏离程度。
图1. SVO权重图。SVO角度仅取决于方向，并且对比例缩放不变；即，对于任何。
(3) 因此，为了使不同驾驶员和场景之间的可比，我们在第2.2节中对输入特征进行标准化（例如，通过物理上限或统计度量进行缩放），并在IRL拟合过程中加入一个规范化项以抑制权重膨胀：
(4) 在预测过程中，我们使用作为条件输入，从而将“相同的历史但不同的偏好”映射到不同的未来轨迹。在加权收益中，和直接进入阶段奖励，而仅作为解释和可视化变量；在边界触发时，不同的值对应于不同的“继续或中止”决策边界，反映了因果一致性，即相同的历史但不同的偏好会产生不同的未来。

2.2. SVO识别（MaxEnt-IRL）概述
在混合交通中的变道互动中，驾驶员在自我关注目标（效率、舒适度）与他者关注目标（安全、礼貌）之间的权衡显著影响了游戏动态和结果轨迹。为了在一个可解释的框架内描述这种权衡，本研究采用最大熵逆强化学习（MaxEnt IRL）从人类驾驶演示中识别出一组可解释的权重参数，这些参数随后被嵌入到轨迹预测和博弈论决策中作为行为偏好。与传统的将驾驶风格粗略划分为“保守”和“激进”的方法不同，IRL生成了连续可微的权重以及一个角度测量值（SVO角度），这有助于提高解释性和端到端优化。为了确保提取的SVO权重能够准确反映真实的人际偏好而非环境噪声，IRL特征空间的设计至关重要。虽然全局交通密度和车道间速度差异等宏观变量可能会影响最初的变道意图，但冲突的具体执行和解决方式主要由微观状态决定。因此，我们的框架采用了一个专注的运动学特征空间——包括相对距离、速度和加速度——作为IRL的紧凑而充分的基础。正如最近的交互建模研究[40,41]所展示的，周围车辆的局部分布隐含在相对距离差距中，而交互强度和紧迫性则自然地体现在加速度的大小和高加速度峰值的存在上。使用这种局部化特征空间可以防止IRL模型过度拟合宏观干扰，从而在近距离的博弈论交互中提取出纯粹的人际社交偏好。

2.2.1 特征建模
IRL的可解释性源于特征、权重和奖励之间的线性关系：如果特征向量清晰地编码了诸如安全距离、相对速度、舒适度（横向加速度和加速度变化）以及礼貌等语义，那么权重向量的每个分量就对应一个明确的驾驶偏好，这有助于在后续模块中使用相同的语义进行推理和控制。在每个离散时间步骤中，我们从状态-动作对中提取标准化特征：
(5)
这里，是最小欧几里得距离；表示纵向相对速度；和分别是横向加速度和横向加速度变化；是到目标车道中心线的横向偏移量；是车道宽度；TTC和PET分别表示碰撞时间和侵入后时间；当TTC低于安全阈值时激活的惩罚项；当PET低于安全阈值和时激活的惩罚项；和是缩放常数。
瞬时奖励定义为：
(6)
的每个分量对应于其相关特征的重要性。因为是标准化的，的相对大小更容易解释：较大的表示更强调效率和舒适度，而较大的表示更强调对他人的安全和礼貌。为了减轻尺度歧义（可识别性问题），我们对数据进行预处理，使每个维度的标准差接近1，并在训练期间加入轻微的正则化以抑制过大的权重。这组特征将在第2.3节中作为“SVO嵌入”连接到Transformer的输入令牌中，从而将“驾驶偏好”作为条件先验传递给预测网络。

2.2.2 轨迹概率建模
根据“在不做无根据假设的情况下匹配观察到的统计信息”的原则，最大熵IRL认为最无偏的轨迹分布应该是累积奖励上的指数族分布：
(7)
在最大熵原则下，专家选择轨迹的概率为：
(8)
和分别表示最大熵轨迹分布和配分函数；表示整个轨迹。
这种表述使得“匹配专家的特征预期”成为最大似然估计的必要和充分条件。直观地说，当较大时，速度较高且横向加速度较低的轨迹被赋予更高的概率；当较大时，让行其他车辆并保持较大车头的轨迹获得更高的概率。
配分函数：
(9)
本研究采用基于采样的近似方法，结合时间窗口修剪和轨迹去重，以减少计算成本同时避免过拟合。

2.2.3 参数估计和数据来源
给定一组专家演示，最大化对数似然：
(10)
其梯度等于专家的特征预期与模型特征预期之间的差异：
(11)
：专家特征预期；：模型特征预期；：对权重的梯度；：正则化系数；：（欧几里得）范数。
训练过程如下。我们首先对专家演示应用统一的标准化和特征工程，并在固定场景划分和随机种子的情况下，离线计算并缓存专家特征预期作为后续优化的基线。然后进入迭代阶段：使用当前参数策略作为主要采样器，借助行为克隆或温度缩放的引导策略，从模拟或回放环境中采样模型轨迹，覆盖规定的预测范围以获得模型特征预期。每次采样后，我们使用Adam算法更新，并结合标准技术——权重衰减、梯度裁剪、学习率热身和余弦退火——来抑制过拟合和训练振荡。为了减轻策略-分布不匹配的问题，我们定期强制重新采样新鲜轨迹并清除陈旧的回放数据。
模型选择采用在独立验证集上的复合提前停止标准：平均特征差异量化了偏好一致性，而FDE反映了可达性和预测质量；这些被结合成一个单一的监控指标。如果几轮后指标没有明显改善，则提前终止训练，并将参数回滚到达到最佳指标值的检查点。
在这项研究中，专家轨迹集来自NGSIM（下一代模拟）项目的US-101和I-80高速公路数据集。这些数据集由美国联邦公路管理局以10 Hz的频率收集，提供了多车道交通中的高精度轨迹，包括车辆位置、速度和加速度，并涵盖了广泛的交通密度和交互场景。我们提取了展示明确变道交互的片段，作为IRL模型的专家演示轨迹。
我们使用Adam优化器；在每个时代：
(1)从(2)计算专家特征总和
使用当前，根据引导策略采样或回放轨迹并计算模型特征总和。
(3)从上述表达式获得梯度并更新。
(4)每隔几步，评估验证集上的平均特征差异和FDE，这些作为提前停止和模型选择的标准。
为了减轻尺度歧义和过拟合，我们在目标中添加了一个轻量级的正则化器，并对异常片段应用了鲁棒裁剪。
在实验中，我们训练了两种变体：一个共享模型（所有驾驶员共享的单个参数向量）和一个个性化模型（每个驾驶员的单独参数）。在训练和测试期间，我们使用平均特征差异和最终位移误差（FDE）作为评估指标。前者量化了模型策略与专家策略之间的差异，而后者反映了模型预测轨迹与专家轨迹的匹配程度，即模型的准确性。结果显示在图2中。图2。(a) 平均特征差异图。(b) 最终位移误差图。大约经过200个训练时代后，两种模型的平均特征差异都收敛到接近零，表明每个模型都以高概率选择了类似人类演示的轨迹。在图2b中，个性化模型在FDE上收敛得更快，并达到了比共享模型更低的渐近值，这意味着更高的准确性。在训练和测试分割中，个性化模型的平均FDE都低于其共享对应物。这表明，虽然共享模型使用的参数较少，并且在群体层面上的泛化能力更强，但个性化模型更好地适应了驾驶员之间的差异，并更准确地捕捉了SVO角度的分布。因此，个性化模型更接近人类驾驶行为。

2.3. 基于SVO条件的Transformer轨迹预测
在第2.2节获得的基础上，我们构建了一个偏好条件化的轨迹预测模型：“历史运动学和SVO偏好”被共同输入到Transformer中，以便预测的未来轨迹不仅符合观察到的动态，还明确反映了驾驶员在冲突场景中的让行或对抗倾向，从而为第3节中的交互式游戏和动态变道中止提供了更多可操作的证据。

2.3.1 数据来源和预处理
在预测阶段，我们使用HighD数据集进行训练和验证。HighD是由无人机在德国高速公路上以25 Hz的频率收集的；其高精度的轨迹非常适合深度模型学习连续的、细粒度的运动模式。与用于IRL的NGSIM（10 Hz，美国高速公路）相比，HighD更高的时空分辨率有助于稳定学习横向细节和变道时机。
我们从HighD中提取展示明确变道交互的片段作为输入，并结合上一节中识别的SVO角度作为额外的特征。为了减轻从NGSIM到HighD的领域转换，预处理遵循与第2.2节相同的物理单位归一化和时间平滑处理（例如，对、、和进行移动平均），并统一坐标表示（例如，使用本车作为局部框架的原点）。这确保了两个数据域之间特征语义的一致性，并促进了跨数据集的SVO推理和使用的连贯性，而不是直接转移单个驾驶员的SVO参数。
NGSIM用于在广泛采用的基准上引入和验证基于MaxEnt-IRL的SVO识别程序，而HighD提供了更高精度的轨迹（25 Hz）用于训练Transformer预测器。重要的是，我们的流程不需要NGSIM和HighD之间有一对一的驾驶员ID对应关系。对于每个HighD交互片段，我们应用相同的特征定义和归一化（将HighD重采样到10 Hz，车道宽度标准化，并且所有特征都以标准化形式表示），并通过相同的MaxEnt-IRL目标重新估计。因此，我们不假设从NGSIM学到的单个驾驶员的SVO直接转移到特定的HighD驾驶员；相反，SVO是在一致的特征空间中为每个数据集推断的，这减轻了领域差异的问题。
为了定量验证NGSIM衍生的SVO参数成功转移到HighD数据集，我们依赖于下游预测性能作为主要指标。因为输入状态空间被严格归一化（如方程(5)所定义），特征的物理语义在10 Hz的美国数据集和25 Hz的德国数据集中保持一致。这种成功转移的定量证明体现在预测误差中：如我们后续评估（图3）所示，基于直接转移的Transformer模型在HighD数据集上的预测误差显著降低，收敛速度更快。这种可测量的性能提升证实了我们的归一化策略有效地弥合了领域差异，使得推断的SVO在不同数据集之间保持了解释力。

2.3.2 输入特征
为了实现偏好感知的预测，模型的输入必须融合历史运动学数据和驾驶员学到的SVO偏好。对于场景中的每个代理，我们构建了一个由两种类型令牌组成的输入序列。
历史运动学令牌：主要输入是代理在过去长度的历史窗口内的状态时间序列。该序列中的每个令牌代表代理在特定时间步的状态，包括其位置、速度和加速度。这些值通常以以本车为中心的局部坐标系表示，以确保平移不变性。
SVO偏好令牌：为了根据驾驶风格条件化预测，我们引入了学到的SVO角度作为全局特征。这个角度被嵌入到与运动学令牌相同维度的向量中，并连接到历史序列中。这允许Transformer的自注意力机制在编码阶段同时处理“车辆做了什么”和“为什么这样做”。所有输入特征都使用训练集中的统计数据进行归一化，以确保训练的稳定性。

2.3.3 模型架构
我们采用了编码器-解码器Transformer：编码器使用自注意力来模拟历史轨迹中的时间依赖性，并与（条件嵌入向量）条件性地交互；解码器然后根据编码的表示生成轨迹的未来KK步。多代理交互（例如，LR/HV）可以作为并行子序列输入到同一个编码器中，以明确学习让行和阻挡的模式。
我们的主干结构遵循传统的编码器-解码器Transformer；关键区别在于偏好条件化机制。具体来说，我们将驾驶员的SVO编码为一个专用的偏好令牌，并通过嵌入连接和线性投影将其与运动学令牌融合，以便多头注意力可以同时关注运动历史和偏好线索。这种条件化处理使得相同的架构能够在相同的运动学条件下表示不同的交互模式，与未经条件化的Transformer和其他不考虑交互的预测器相比，提高了准确性和行为的合理性。采用了一种编码器-解码器架构：编码器模拟历史轨迹以及SVO信息，解码器输出接下来步骤的预测轨迹。在图3中，基线和改进后的预测模型在200个周期内的训练误差大致相当；然而，改进后的模型收敛得更快，并且在相同的周期数内达到了更低的误差，这表明我们的SVO识别模块提高了轨迹预测的准确性。2.3.4. 训练目标预测应同时满足几何精度（与真实轨迹的接近程度）、物理可行性（保持在可接受的速度或加速度范围内）和交互安全性（与其他车辆保持合理的距离）。因此，我们采用了一个包含四个组成部分的复合损失函数：其中：预测损失；ADE（整体拟合度）；FDE（终点精度）；物理可行性；交互安全性；相应的损失权重；真实状态；预测状态；历史窗口和预测窗口的长度。物理可行性项：通过对速度、加速度和抖动的超出部分施加软惩罚（通过正部分函数），从而抑制不现实的瞬时横向位移和振荡：交互安全性项：使用可微分的距离惩罚来近似“避免碰撞或保持边界”的约束，仅惩罚超出范围的部分：这里，表示本车与邻近车辆或障碍物的最小距离，是安全距离阈值。作为条件嵌入进入网络，并不直接出现在损失函数中；通过调节注意力和前馈流，它改变了模型在让行与竞争、车头时距选择和间隙接受时机方面的偏好，从而间接影响ADE/FDE和正则化项的最优解。训练后，对于相同的歷史数据，模型可以生成基于不同条件的个性化未来轨迹。3. 基于动态变道中止机制的交互式博弈论决策3.1. 概述在第2节中获得的条件轨迹预测的基础上，本章进一步将偏好与交互收益结合起来，构建了一个滚动时域博弈和一个动态变道中止机制。在多车道高速公路环境中，执行变道的自动驾驶车辆（AV）必须在其驾驶效率与周围交通的安全约束之间取得平衡。然而，现有的博弈论决策方法通常假设一旦开始变道，变道就一定会完成，忽略了执行过程中可能出现的潜在阻塞情况。一个常见的情况是目标车道上的落后车辆（LR）表现出自私或激进的驾驶行为：它可能会突然加速以进行阻挡，迫使AV进行困难合并，显著增加碰撞风险。为了提高安全性和决策灵活性，我们在基于SVO的博弈框架中引入了一个动态变道中止机制：在每个滚动时域步骤中，我们使用条件预测来评估未来交互的收益；一旦继续变道的预期回报低于中止并返回的回报（考虑到风险惩罚和滞后效应），系统就会主动放弃该操作并平滑地返回原车道。这种机制更符合人类驾驶逻辑——首先尝试变道，然后在检测到高风险时放弃并退缩——从而在交互场景中提高鲁棒性。技术路线图如图4所示。3.2. 参与者和策略的SVO加权收益本文考虑的变道过程涉及两个主要参与者：打算变道的目标准车辆（AV）和目标车道上的落后车辆（LR）。本车执行高级决策，这些决策被发送到低级控制模块（如APF和MPC）以生成可行的轨迹。位于目标车道内并处于计划合并间隙中的车辆（落后车辆）是交互中的主要对手；其响应强烈影响间隙的演变和相关风险水平。其他邻近车辆被视为环境因素，参与多智能体条件预测和安全距离评估；它们没有明确包含在双边收益矩阵中，但通过基于距离的指标影响阶段收益和中止触发。动作集：（1）AV高级动作：，可选地伴随纵向微动作作为离散近似。（2）目标车道落后车辆（LR）高级动作：（加速、保持、减速）。（3）其他邻近车辆被纳入上下文滚动时域预测中，无需明确列出动作。为了使决策过程在满足多目标约束的同时“理解”偏好，我们明确将AV在状态-动作对处的阶段收益分解为三个不同的维度：效率、交互成本和安全。然后通过SVO参数对这些目标进行加权，形成总阶段收益：各个目标项的公式如下，以提供明确的物理语义：（1）效率目标：表示保持高巡航速度的利己愿望。（2）交互成本：惩罚激进的操作，以评估舒适度和交互强度。（3）安全目标：表示对他人的安全约束。为了提供连续可微的、高梯度的碰撞风险惩罚——而不是依赖于硬性指示函数——我们直接结合了基于TTC和PET的非线性指数风险项：这里，系数、、作为维度缩放因子。辅助向量包含软工程约束（如车道居中、边界势能、抖动抑制和椭圆形安全距离），明确定义为：这里，表示边界软势能，表示椭圆形安全距离惩罚；是内部权重。因为指示函数方便地编码了硬性的“不违反”规则，但往往会导致数值优化和敏感性分析中的梯度不稳定，我们用连续可微的风险项替换了它：将方程（16）中的第二项重写为这保留了阈值语义，同时提供了更好的可微性和可调性。定义了每步收益后，我们接下来将其嵌入到步滚动时域设置中，并与对手的策略一起进行评估。3.2.1. 策略空间和对手-本车策略的耦合评估在时间t，SVO条件化模型产生一组多模态步未来。给定一对策略，我们近似计算折现后的累积回报为：其中是折现因子，是从高级策略派生出来的。有了从策略对到回报的可计算映射，我们可以定义两个选择规则：最佳响应和短视均衡。当预测器为LR的动作提供分布时，AV的一步理性选择是：这里，表示在最优选择原则下，自动驾驶车辆在时间选择的动作，其中表示“最优”。在对对手响应不确定的情况下，AV选择最大化其预期回报的动作——这与人类先试探合并然后根据对手是否争夺间隙来调整的做法一致。为了构建双边收益矩阵，我们为目标车道落后车辆（LR）定义了一个对称的阶段收益。由于LR主要通过纵向动作做出响应，其收益评估了其在特定SVO偏好条件下的巡航效率、舒适度和与合并AV的交互安全性：这里，奖励LR保持其目标速度，同时惩罚剧烈的纵向加速或制动。通过列举两个代理的有限动作集，我们计算双边收益矩阵和，以寻找构成相互最佳响应的动作对。这两种选择规则都依赖于方程（22）中的阶段收益。因此，收益校准和比例归一化至关重要，因为它们直接影响战略倾向和触发边界。通过用物理上限（如）对特征进行缩放，每个项都被限制在[0, 1]或类似范围内，从而减少了对系数调整的负担。系数主要作为维度桥梁和相对权衡，通常固定在[0.5, 2]的范围内，留下用于捕捉偏好差异。在其他所有项固定的情况下，阶段收益中速度和横向加速度之间的边际替代率是：其中是速度的边际效益，是横向攻击性的边际效应。比率直接量化了“愿意用多少速度效益来换取多少横向攻击性的惩罚”。因为乘以两个项，个体偏好决定了这对自我关注目标的重视程度，而比率则决定了内部权衡的斜率。3.2.2. 预期累积回报和滚动时域评估为了将“短期阶段奖励”提升为决策相关的“总体未来价值”，我们在不确定的交互条件下，评估候选策略在长度为的预测窗口内的折现预期累积回报。直观地说，这一步回答了现在选择给定策略是否在从现在到之间的时间段内总体上有利。因此，让表示折现因子，让表示对未来轨迹不确定性的预期。鉴于AV的高级动作和LR在评估范围内的响应，我们定义了两种候选策略的累积值如下：这里，表示在当前情况下继续变道的折现预期累积回报；表示立即中止并随后进入备用模式的折现预期累积回报；是进入备用模式后的阶段奖励；是时间时的系统状态。在策略执行层面，为了平衡决策准确性和计算效率，可以采用以下两种低开销的策略选择视角，以便在交互场景中快速响应：（1）最佳响应：给定LR动作的先验或预测分布，选择最大化AV自身累积回报的动作。（2）短视纳什：列举双边收益矩阵，并选择构成近似相互最佳响应的动作对。无论选择哪种视角，滚动评估都是必不可少的：在每个控制周期中，预测、评估和选择都会重复进行，从而不断纳入最新的观察和对手线索，纠正早期的评估，并防止过早的错误变得不可逆。这种滚动机制还为动态中止提供了自然的接口：一旦风险升级或价值比较逆转，系统可以合理地放弃操作并过渡到备用程序。在这个滚动时域框架内，交互被建模为寻求滚动时域纳什均衡（RHNE）。在每一步中，明确的多目标分解确保了各个成本惩罚（例如，指数TTC风险和二次辅助项）的严格凸性，这在理论上支持了最佳响应策略的存在。更重要的是，在高度动态的混合交通场景中，纯阶段博弈均衡可能会遭受“策略抖动”（即，在让行和加速之间的高频振荡）。为了保证策略在连续时间域内的稳定性，我们的决策流程严格整合了一个价值-风险滞后机制（详见第3.3.1节）。这种架构设计确保了AV保持数学上的稳定和坚定的意图，除非对手的激进行为发生显著变化，导致均衡被打破。通过提供定量定义，我们获得了继续当前策略和中止的累积价值的可计算表达式，从而为策略值的跨比较建立了统一的定量基础。而不是仅通过原始差异和来判断中止，我们进一步结合了之前引入的极端风险度量，构建了一个二维的价值-风险中止触发标准。3.3. 动态变道中止机制即使面对相同的交互历史，继续变道的感知价值也会根据驾驶员的SVO偏好而变化。此外，激进的对手可能会突然加速，导致交互风险激增。仅基于预期回报的决策标准可能会被平均值误导，忽略了低概率但高影响的尾部风险。在第4.2节的控制模拟研究中，为了公平和可重复的比较，每个场景中的LR车辆被分配了一个固定的SVO类型。在本文中，每个模拟剧集中的对手SVO保持不变。对于现实世界的部署，该框架可以扩展为使用轻量级滑动窗口估计器随时间缓慢更新SVO，以避免快速振荡。因此，我们构建了一个触发机制，明确结合了预期回报值和（如第3.2.2节所定义的）以及直接衡量迫在眉睫的风险。为了使标准对尾部风险更加敏感，我们根据窗口化极值构建了一个无量纲风险评分。定义基于关键安全指标窗口化极值的综合风险评分：（28）为了抑制感知中的噪声，我们对这个评分应用指数移动平均。这里，表示当前可接受的间隙，是其阈值。运算符确保只有在安全边界被违反时评分才会累积。3.3.1. 触发标准为了实现一个在安全性和决策稳定性之间取得平衡的中止决策，本小节设计了一个双阈值触发标准，该标准整合了价值比较、风险惩罚和滞后效应。核心目标是在扣除风险成本后，只有当继续变道的价值显著低于中止并回退的价值，并且两者之间的差异超过一个稳定性边际时，才触发中止，从而避免由于短期波动而频繁切换策略。在介绍具体标准之前，我们澄清两个关键超参数的物理含义：（1）：风险敏感性（它越大，策略越保守，中止越容易触发）；（2）：滞后边际（提供安全缓冲，并防止在决策边界附近频繁切换）。为了形式化决策过程，我们将动态变道中止机制定义为一个明确的状态切换策略。让表示时间t的高层决策。我们使用一个综合触发信号来制定触发中止动作的精确条件，该信号整合了价值差异和实时风险惩罚：（29）基于这个信号，正式的中止触发策略定义为：（30）一旦切换到‘中止’，系统将不可逆地放弃当前的变道意图，并将车辆委托给结合了人工势场（APF）和模型预测控制（MPC）[42]的方案以实现安全返回：APF快速规划一条无碰撞的回退路径，而MPC动态优化控制输入以确保舒适性和稳定性。通过这种方式，形成了一个闭环决策链——变道尝试、风险识别、理性放弃和平稳回退——这与人类的“探测-判断-调整”逻辑紧密匹配，符合对自动驾驶行为的期望，并在交互场景中保障安全。当中止被触发时，返回车道动作明确考虑了原始车道中的前后车辆：APF层为所有相邻车辆分配排斥势能，MPC层强制执行与最近的前/后车辆的安全距离约束。为了确保从博弈论策略到APF + MPC的平滑过渡，我们（i）用最后一次应用的控制来预热MPC，（ii）包括一个-惩罚项以保持控制连续性，（iii）在短暂的过渡窗口内混合横向控制指令以避免突然的加速度变化。4. 仿真和验证 4.1. 仿真环境设置和模型集成为了验证基于SVO博弈论决策和动态变道中止机制的交互式轨迹规划方法的有效性，我们在MATLAB（2024b）–Python（3.12.11）仿真平台上进行实验。仿真环境结合了真实交通流量数据和生成的轨迹，并明确支持混合交通多车道环境中的动态交互。为了清晰定义这种混合交通场景，仿真包括三种不同类型的车辆代理，每种代理由不同的控制逻辑控制：（1）自我车辆（AV）：代表自动驾驶车辆。它完全由我们提出的闭环框架控制，整合了SVO条件下的博弈论规划器和动态APF + MPC回退机制。（2）目标车道滞后车辆（LR）：代表具有不同社会偏好的手动驾驶车辆。为了在不依赖严格规则的情况下真实模拟人类行为的异质性，LR的动作是通过优化其自身的SVO加权收益来生成的。通过系统地为LR分配不同的SVO值，我们模拟了人类让行和阻挡行为的整个谱系。（3）领先车辆（HV）：代表在自我车道中行驶较慢的手动驾驶车辆。它使用标准的车辆跟随模型进行建模，作为触发AV变道意图的移动瓶颈。测试场景如图5所示。在这种设置中，当前方的HV行驶缓慢时，AV尝试左转以获得更高的巡航速度，而LR可能会根据其分配的SVO类型让行或加速以阻挡AV的变道动作。图5. 变道示意图。为了确保仿真的可重复性并澄清理论模型与实验设置之间的关系，仿真中使用的关键运动学约束、安全阈值和算法超参数在表1中明确总结。表1. 仿真环境和决策模型的关键参数。4.2. 实验场景设计在现实世界的高速公路驾驶中，变道最关键且容易发生碰撞的阶段是当自我车辆面对一个较慢的领先车辆（HV）并且必须并入一个被接近的滞后车辆（LR）占据的相邻车道时。这种特定的配置迫使并车车辆和目标车道车辆之间进行积极的、非平凡的博弈。因此，在这种交互式瓶颈场景中评估我们的框架非常具有代表性，能够挑战性的变道行为。通过系统地改变LR车辆的SVO（从亲社会到攻击性），在相同的初始运动学条件下，我们可以全面测试模型在整个人类让行和阻挡行为谱系中的鲁棒性。为了研究对手的驾驶偏好如何影响变道博弈，并评估在博弈论决策中考虑未来回报的适当性，我们为LR构建了四种SVO类型：亲社会的、个体主义的、竞争性的和攻击性的。（1）亲社会的LR：优先考虑双方的安全和效率，倾向于与AV的变道合作，如果条件不适宜，则保持安全的车头时距以避免潜在风险。（2）个体主义的LR：优先考虑自身的利益，可能会阻挡AV的变道，尤其是在其行驶速度较高时。（3）竞争性的LR：对AV的变道意图表现出竞争态度，通常会加速或保持紧密的间隙以“占据”车道。（4）攻击性的LR：以攻击性风格驾驶，不仅阻碍AV的变道，还会表现出不稳定的行为，如突然加速。在仿真中，LR车辆遵循与自我车辆相同的决策流程，但具有自己固定的偏好参数。对于每种SVO类型，我们将LR的SVO角度设置为代表性值（亲社会/个体主义/竞争性/攻击性），并保持其他模型参数不变；在每个回退视界步骤中，LR通过优化自己的SVO加权收益来选择最佳响应（纵向和横向）。这产生了与分配的SVO类型一致让行或阻挡行为，而无需引入临时规则；添加了小的有界噪声以避免过于确定的轨迹。对于每种SVO类型，LR在与AV的交互中遵循相同的初始速度，以观察博弈论决策模型的性能；动态变道中止机制特别在攻击性LR下进行了评估。最后，我们将两种提出的决策模型与经典的IDM + MOBIL基线进行比较。在4.3.3节中，SVO值连续变化，以尽可能全面地覆盖驾驶员类型；设计了总共1000个场景来评估模型在不同条件下的性能。4.3. 验证和比较分析 4.3.1. 无中止的基于SVO的决策结果在禁用动态中止的情况下，本小节保留了4.2节的场景和常见阈值设置，并检查不同LR类型下SVO驱动的博弈策略的可观察行为和风险暴露。我们将高级策略限制在“继续变道”和“保持车道”之间的滚动选择，并在一致的协议下计算关键指标，包括速度、横向侵略性和TTC/PET。图6展示了四种代表性SVO类型的轨迹和速度比较，描述了系统缺乏合理中止能力时在对抗性场景中的边界行为和潜在危险。图6. AV与四种类型LR驾驶员交互的轨迹和速度概况（中止机制禁用）。子图分别对应于与（a）亲社会的LR、（b）个体主义的LR、（c）竞争性的LR和（d）攻击性的LR的交互。总的来说，当中止机制被禁用时，SVO驱动的策略在亲社会或个体主义的LR下仍然可以完成相对安全的变道。然而，面对竞争性或攻击性的LR时，系统更容易出现TTC和PET的短暂下降、横向加速度和抖动的升高，以及表现出探测后强制并道的对抗性模式。即使变道最终成功，成本通常表现为乘坐舒适度的降低和效率的波动，伴随着决策转折点的延迟。这表明，仅由SVO加权的收益博弈在战略对抗的突然升级和局部极端风险下不够稳健，突显了基于理性放弃和平稳返回的安全回退的必要性。4.3.2. 引入动态中止机制后的决策结果在与4.3.1节完全相同的初始条件和评估协议下，本小节引入了一个具有双阈值值–风险测试和滞后的动态中止标准，并通过APF + MPC执行平稳的回退，以评估其在安全和舒适性方面的增量改进。除了启用中止通道外，其余的博弈和预测模块保持不变。为了明确评估这些关键交互期间的车辆运动稳定性，图7现在包括了横向加速度和偏航率的时间进程以及轨迹和速度概况。图7. 终止机制（a）和无终止机制（b）的比较分析。比较分析显示，如果没有中止机制（图7b），强制并车对抗攻击性对手会导致横向加速度和偏航率的严重和长期振荡，表明乘坐舒适度和动态稳定性下降。相反，图7a展示了动态中止标准的精确有效性。在初始交互期间，MPC控制器短暂计算出高横向加速度需求，以试图缩小间隙。然而，这种极端需求严重违反了预定义的舒适度约束。根据我们的收益公式（方程（16）），这种违反会导致巨大的物理惩罚，使得继续变道的预期回报（）急剧下降。因此，价值差异迅速超过滞后边际，严格触发了3.3.1节中定义的动态中止机制。这种积极的干预迅速遏制了极端的动态响应，迅速稳定了车辆，横向和偏航波动的持续时间显著缩短。因此，最小TTC/PET显著增加，整体峰值抖动减少。尽管这引入了轻微的效率损失，但重复交互中的整体吞吐量和稳定性得到了提高。在APF + MPC方案下，回退轨迹连接平滑，增强了决策流程的可解释性和工程可部署性，从而证明了包含预测、博弈论决策、中止和回退的闭环的必要性和有效性。4.3.3. 博弈论决策的比较分析为了更直观地说明决策模型之间的性能差异，本小节比较了两种博弈论决策模型与由最小化由变道引起的总体制动（MOBIL）模型和智能驾驶模型（IDM）构建的经典基线。驾驶员的SVO从连续变化，产生了1000种不同的社会价值取向。在相同的初始条件下，评估了所有三种变道模型。结果总结在表2中，其中GameTheory表示没有预测的博弈论决策模型，GameTheory + Prediction表示带有预测的博弈论决策模型。表2. 博弈论决策的比较测试结果。“变道意图”计算决策模块在视界内至少输出一次变道意图的场景。“变道成功”计算自我车辆到达目标车道中心线并保持车道保持时间而不违反任何安全约束的场景。这里，停留时间表示在场景中保持固定的预定义稳定间隔。“平均变道开始时间”是从场景开始到车辆首次向目标车道进行持续横向运动的时间。“平均变道时间”是从变道开始直到车辆在目标车道满足横向稳定性容忍度的时间。两种博弈论模型在变道成功率和整体效率上都优于IDM + MOBIL。尽管GameTheory在某些其他指标上落后于IDM + MOBIL，但改进后的GameTheory + Prediction在所有指标上都超过了IDM + MOBIL。这些发现表明，基于博弈论的决策方法更能适应驾驶员之间的差异性。此外，将预期的未来回报纳入决策过程进一步提升了系统性能，使其更符合自动驾驶的要求。4.3.4 结果的比较（包含与不包含中止机制的情况）为了单独评估动态中止机制的具体贡献，本节直接对启用中止机制与未启用中止机制的系统性能进行了数值比较。实验采用了第4.3.3节中相同的大规模统计协议，每组运行了1000个场景，如表2所示。两组实验使用相同的场景库、随机种子、SVO分布（连续变化范围为[具体范围未提供]）和模型参数；唯一的区别在于是否启用了中止准则以及APF + MPC回退机制。报告的指标包括效率、舒适性和安全性。需要注意的是，在包含中止机制的组中，相关数据仅基于最终完成变道的样本计算；而中止的样本被排除在平均值之外，以保持与不包含中止机制组的报告惯例一致。表3总结了关键的定量结果，便于直接对比。从表中可以看出，在相同的场景和统一的评估协议下，启用动态中止机制可以显著降低TTC/PET的最小值，缩短在不安全区域内的累计时间，并减少峰值横向加速度和抖动。相应地，单次变道的平均持续时间略有增加，平均速度略有下降，这表明为了获得更大的安全裕度和舒适性，人们在效率上做出了适度的妥协。这些结果表明，通过早期识别、快速回退和平稳重新整合的闭环策略，可以将高度对抗性的情况转化为可控的退避行为，减少不必要的冲突，并提升决策流程的可解释性和工程鲁棒性。5. 结论与未来工作针对混合交通中的变道互动，本文开发了一个以SVO为中心的闭环决策框架，该框架整合了偏好识别、条件预测、基于博弈论的决策以及动态中止和回退机制。利用MaxEnt-IRL方法，我们学习了一个可解释的偏好参数，并将其作为条件输入嵌入到基于Transformer的预测器中，以区分让行行为和竞争行为。该预测模型与滚动时域博弈和动态中止准则相结合，形成了一个可逆且鲁棒的决策架构。仿真结果验证了这一框架的有效性。核心的博弈论模型结合轨迹预测后，在变道成功率和交通效率方面显著优于传统的IDM + MOBIL基线。特别是动态中止机制提供了重要的安全保障，证明了其在对抗性场景中能够大幅降低最小TTC和PET值的能力，通过轻微的速度损失换取了显著的安全性提升。目前的局限性包括由于回退操作导致的效率损失以及过度依赖仿真验证。未来的研究将在几个关键方向上进行改进：首先，虽然本研究假设在单次变道过程中由于人类认知惯性SVO是准静态的，但实际上在宏观时间尺度上，人们的偏好是依赖于上下文的。因此，我们计划引入一个随时间变化、状态依赖的动态偏好估计框架来处理连续的、长期的多车辆互动。在算法方面，我们计划整合多模态预测和深度强化学习（DRL）。对于实际应用验证，我们将致力于道路测试并利用V2X通信技术。最后，为了增强以人为中心的理念和工程可行性，我们将在开发完全可微分的规划和控制流程时考虑人为因素和伦理指标。