《Sensors》：Robust Stackelberg-Supervised Overtaking Policy with Persistent Tactical Corridors for Autonomous Racing
编辑推荐：
超车规划与决策是自主赛车性能的核心。狭窄封闭赛道上的有限机动空间使高速超车变得困难，并增加了超车失败与碰撞的风险。为解决该问题，研究人员将超车建模为鲁棒战术可行集选择，并开发了一种Stackelberg监督策略，将响应集推理转化为用于约束规划与闭环控制的持久战
超车规划与决策是自主赛车性能的核心。狭窄封闭赛道上的有限机动空间使高速超车变得困难，并增加了超车失败与碰撞的风险。为解决该问题，研究人员将超车建模为鲁棒战术可行集选择，并开发了一种Stackelberg监督策略，将响应集推理转化为用于约束规划与闭环控制的持久战术通道。首先，一个鲁棒Stackelberg响应集教师向截断分位数评论家（TQC）策略提供动作先验与动作条件鲁棒值监督，该策略以传感器导出的对手状态估计为输入，学习超车侧意图、通道参数与速度需求。其次，一个带滞回的有限状态机（FSM）保持所选超车侧，而确定性通道雕刻器将学习到的通道参数与演变的赛道及交互几何相结合，构建时变Frenet通道。最后，通道约束的序列二阶锥规划（SOCP）规划器与速度剖面生成器产生连续路径—速度参考，并采用参考条件轮廓误差非线性模型预测控制（RC-NMPC）进行跟踪，以产生闭环车辆指令。硬件在环实验使用Emirates Autonomous Vehicle（EAV24）方程式赛车模拟器开展，并对定位与感知输出施加高斯噪声与丢包。在1000圈中，该方法取得94.7%的领先获取率与4.82 s的平均领先获取时间。与使用相同执行栈的三个基线相比，领先获取率高出31.2–66.2个百分点，平均领先获取时间缩短3.01–6.41 s；未观察到碰撞或赛道边界违规。
一、研究背景与问题
自主赛车为极端工况下的感知、决策、规划与控制集成提供了严苛测试平台，Indy Autonomous Challenge与Abu Dhabi Autonomous Racing League（A2RL）等赛事已将这一测试平台扩展至接近车辆操控极限的全尺寸正面对抗竞速。在此类比赛中，能否安全高效完成超车动作直接影响竞技表现。狭窄封闭赛道上的超车尤为困难，高速与有限横向空间缩短了超车窗口并提高了碰撞风险。车载定位与对手感知提供了超车决策所依赖的演变车辆状态估计。可行的超车决策必须在反复重规划中保持超车侧意图，并为下游路径生成与车辆控制留出足够机动自由度。因此核心挑战在于：在整个超车机动过程中，将交互式战术推理转化为几何显式且时间持久的可行域。
现有研究沿四个方向发展：分层机动规划、显式博弈论规划、基于学习的决策以及混合学习—优化架构。分层架构中战术层在跟随、防守与超车间选择行为，下层将其转化为路径与速度剖面，具有可解释战术逻辑与实时实现路径，但其战术输出通常以机动状态、目标航点或选定轨迹表示，对下游规划可用空间范围的连续参数化有限。显式博弈论规划器更直接地建模竞争者间耦合，非合作动态博弈可产生屏蔽、佯动与机会性超车等行为，但实时约束下反复在线求解博弈仍具挑战。基于学习的方法以固定代价策略推理替代重复在线搜索，然而直接控制策略与单轨迹输出在交互演变时留给约束感知重规划的自由度有限。混合架构中，最接近通道式规划器接口的工作由Yang等使用多智能体强化学习生成的协作参考轨迹构建时空通道，Toschi等从预测占据构建备选可行驶隧道并据当前交互选择其一，但通道参数本身并未作为战术输出被学习。综上，在高速超车全程中保持一致的超车意图、同时保留约束重规划的足够几何自由度，仍是难题。这促使研究人员提出将超车意图表示为持久战术可行域的决策框架，通过侧锁定Frenet边界与速度引导将博弈监督的战术决策传递给规划器。
二、研究内容与结论
研究人员将交互式超车表述为鲁棒战术可行集选择，并开发了博弈引导的战术通道决策框架，将鲁棒Stackelberg响应集推理转化为持久战术可行域与速度引导，用于约束规划与闭环控制。主要贡献包括三项：鲁棒Stackelberg响应集监督，即构建鲁棒Stackelberg响应集教师，针对近最优跟随者响应对约束可行动作候选进行评估，导出响应集最优动作先验与动作条件鲁棒值标签，以监督TQC演员—评论家方法学习鲁棒超车决策；持久战术可行域接口，即将TQC输出转换为侧锁定、时变Frenet通道并附速度引导，由滞回FSM与确定性对手足迹雕刻使可行域适应演变的赛道与交互几何，通过序列SOCP与RC-NMPC在整个超车过程中持续支撑路径规划；高速条件下的系统验证，即在目标车载计算机上部署完整决策—规划—控制栈，并在EAV24硬件在环平台的高速正面对抗条件下评估，同时开展匹配基线与消融研究。结果表明该方法具有高领先获取率与无碰撞闭环运行能力，凸显其在自主赛车实际部署中的潜力。
三、关键技术方法
研究采用的主要方法包括：鲁棒Stackelberg响应集教师，通过Sobol设计与左/中/右三种侧向编码组合构建领导者与跟随者候选库，经边界投影、通道雕刻与轮胎可行性筛选后生成耦合离线预览，评估归一化角色相对效用并保留近最优跟随者响应集，以最不利保留响应选取鲁棒动作；投影动作TQC，采用51维观测（27维对抗状态特征与两个以自车和对手为中心的12维赛道摘要），以直通投影动作代理处理非光滑轮胎搜索，并共享评论家编码器同时承载Bellman转移与教师监督；持久战术可行域接口，含滞回FSM侧锁定与基于恒定Frenet速度对手预测的足迹雕刻，配合即时收缩与平滑松弛机制；执行层采用序列二阶锥规划生成几何路径并由前向—后向扫描生成轮胎包络筛选的速度参考，最后以RC-NMPC在自车中心局部坐标系中跟踪。实验平台为A2RL高保真AutoVerse模拟器与EAV24所用Neousys RGS-8805GC车载计算机组成的硬件在环系统，感知、定位、战术、规划、控制模块分别以20、100、200、40、100 Hz运行，定位与感知输出分别叠加标准差为0.05 m、0.05 m/s、0.002 rad、0.05 m/s2与0.10 m、0.10 m/s、0.003 rad的零均值高斯噪声，并对两路输出施加10%独立丢包率；训练使用1000个教师状态，保留800个并产生12,800条监督记录（10,240训练、2560验证，按遭遇划分）。样本来源为Yas Marina North赛道上的仿真遭遇，并在未见的Imola与Suzuka赛道做迁移评估。
四、研究结果
5.1 实验平台与配置：在1000圈蒙特卡洛闭环硬件在环测试中记录执行时间，各模块P99延迟均处于其调度周期内，未记录到求解器失败；软件计时显示感知收包至融合输出延迟、YOLO平均计算时间16.61 ms、检测/发布率9.66/39.99 Hz，EKF位姿与速度收包至输出延迟分别为7.23/7.22 ms。
5.2 代表性赛道条件下的超车性能：Yas Marina North四个代表性遭遇显示可行域从接近引导演变为已承诺超车通道。Case 1为长直道高速超车，首个记录样本处对手减自车纵向、横向与航向差为57.56 m、3.32 m与负值弧度，自车/对手速度68.73/57.74 m/s；Shadow视图在相应里程处形成侧一致接近通道，纵向间距缩小后Overtake雕刻器排除对手占据区域并保持连通通道，Encounter处横向间隔已建立，Lead标记处横向间隔满足要求且足迹排除条件持续成立，实际速度在领先获取期间超过70 m/s；闭环实现中横向轮廓、速度跟踪与航向误差峰值约为0.08 m、0.35 m/s与0.025 rad，所有记录的切向—法向加速度样本均在速度相关轮胎包络内。Case 2为连续弯道高速超车，首个样本处纵向、横向与航向差为56.60 m、负值米与0.0502 rad，自车/对手速度65.83/43.23 m/s；通道随赛道边界变化，实际轨迹始终位于其中，Encounter处弯曲通道已建立横向间隔，Lead标记处横向间隔保持，实际速度在领先获取全程紧密跟随期望制动与再加速剖面；峰值横向轮廓、速度跟踪与航向误差约为0.15 m、0.35 m/s与0.11 rad。以最小曲率对手进行每种子1000圈测试，完整方法领先获取率94.7%，接触与赛道违规率均为0.0%。
5.3 对抗防守型对手策略的自适应超车：评估两种状态相关防守策略。近最优响应防守者在每次响应更新时评估固定可行动作候选库并选择对自车最不利的保留近最优响应，随对抗演变调整横向位置与速度；侧向切换阻挡者移入自车已承诺超车通道并可执行一次阻挡侧切换，促使战术发布器利用互补通道。两者均满足与最小曲率对手相同的赛道边界与轮胎包络约束。针对侧向切换阻挡者的代表性闭环响应显示，对手Frenet横向坐标跨越一定范围，在瞬时1与2之间越过赛道中心线进入自车初始超车通道，战术发布器随即承诺互补侧并发布其可行通道，自车完成横向转移，随后纵向间距减小、横向间隔扩大并最终取得领先。在容差设定下，所提策略对近最优响应防守者与侧向切换阻挡者的领先获取率分别为92.3%与91.0%，接触为零，路径可行率分别为0.9985与0.9972；相对零容差，名义响应集使两种防守者下的领先获取率各提高3.2个百分点，每圈平均最小间隙分别增加0.72与0.75 m，并消除0.2%与0.3%的接触率，路径可行率分别提高0.0045与0.0052，取得领先圈的平均领先获取时间分别增加0.09与0.16 s。
5.4 与战术基线的比较：所有方法共享相同车辆对象、竞赛控制接口、通道投影、路径与速度规划器及控制模块，仅战术引导生成器不同。基线包括非交互模型预测控制（NI-MPC，独立于自车计划预测对手并将预测占据纳入障碍约束）、基于规则博弈论引导（RB-GT，以固定阈值状态机选择战术模式）与迭代线性二次博弈（iLQGames，计算耦合局部响应），其输出均映射到含超车侧指令、速度上限与通道参数的公共战术接口。每方法每种子1000圈结果显示，所提方法领先获取率94.7%、平均领先获取时间4.82 s，相较三个基线领先获取率提高31.2–66.2个百分点、平均领先获取时间缩短3.01–6.41 s；基线中iLQGames领先获取率最高为63.5%，体现耦合交互推理的收益；相较iLQGames，所提方法将平均最小间隙从2.31 m提高至5.83 m，接触率从1.4%降至零，路径可行率1.000表明公共SOCP规划器在每个规划周期均找到可行解，每种子平均53圈未达到领先事件。
5.5 消融研究：八个消融变体在相同下游规划控制栈下独立训练与匹配评估。完整方法在所有报告指标上最优。去除动作先验使领先获取率降低3.9个百分点、领先获取时间增加0.88 s；去除鲁棒值监督使领先获取率降低2.4个百分点、领先获取时间增加0.49 s；二者共同去除（No-GG）造成9.3个百分点更大降幅，最小间隙从5.83 m降至2.86 m，支持动作与值监督的互补作用。固定通道几何使领先获取率降低13.3个百分点、领先获取时间增至7.86 s、路径可行率降至0.970；仅固定速度请求造成较小5.1个百分点降幅、领先获取时间增至6.12 s而路径可行率保持0.994；二者共同固定（Fixed-C/S）降幅最大，领先获取率降至76.1%、领先获取时间增至8.94 s、路径可行率降至0.961，表明自适应通道几何提供可行超车的主要空间支撑，自适应速度引导贡献互补的节奏与效率。相较无FSM变体，完整有状态机制使领先获取率提高12.4个百分点、接触率从1.2%降至零，证明滞回模式转换与持久侧锁定的共同贡献。以SAC替换TQC使领先获取率降低6.2个百分点、领先获取时间增加0.71 s，支持分布值学习在同一战术与执行架构中的贡献。
5.6 超参数敏感性分析：以容差0.05与监督权重为参考配置，各设置独立训练并每种子1000圈评估。名义设置总体平衡最佳，取得最高领先获取率、零接触率与完全规划可行性。将容差从0.05降至0.025使领先获取时间从4.82 s缩短至4.71 s，但领先获取率降至92.4%、最小间隙从5.83 m降至4.55 m；零容差时领先获取时间进一步降至4.60 s，而领先获取率、最小间隙与路径可行率分别降至90.1%、4.08 m与0.9888，接触率0.9%；将容差增至0.10使最小间隙扩大至6.22 m而领先获取时间增至5.70 s，表明容差调节超车效率与空间间隙之间的平衡。任一损失权重加倍均使领先获取率保持在93%以上、路径可行率不低于0.9968，显示监督权重增加时性能稳定。
5.7 未见赛道评估：在Yas Marina North训练的战术策略在未重训或重调参数的情况下于未见的Imola与Suzuka赛道评估，所有规划与控制参数保持不变。两赛道上对手均沿最小曲率赛车线行驶，附录B各给出四个代表性超车事件并配对Shadow与Overtake阶段。八个事件显示战术状态在直道与弯道上均从Shadow推进至Overtake。框架在Imola与Suzuka分别取得91.8%与88.9%的领先获取率，两赛道接触率均为零，平均最小间隙保持5.0 m以上、路径可行率保持0.993以上，赛道违规率分别为0.0%与0.1%，表明学习到的战术可行集表示具有有效的跨赛道迁移能力。
5.8 鲁棒性与初始速度影响：所提方法在每个测试扰动水平下均保持更高观测领先获取率与最小间隙、更低接触率；施加200 ms附加延迟时领先获取率为81.6%对44.1%、接触率为2.2%对6.9%；对抗独立对手时领先获取率为89.9%对56.2%。以Case 1起始几何与57.74 m/s初始对手速度，初始速度优势1、5、10 m/s分别产生78.9%、87.5%与90.2%的领先获取率（每设置1000次试验，95% Wilson区间分别为76.26–81.32%、85.31–89.41%与88.20–91.89%）；扰动种子配对，每次试验持续一圈或提前因接触、控制器停止或遥测失败结束，所有尝试均保留；速度在交互中演变，取得领先需累积相对赛道进度超过初始间距。
五、讨论与结论
研究结论指出，本研究开发了面向自主赛车超车的博弈引导战术通道框架。以鲁棒Stackelberg响应集监督训练的TQC策略以传感器导出的对手状态估计为输入，输出超车侧意图、通道参数与速度需求；滞回侧承诺与对手足迹雕刻将这些输出转换为持久Frenet通道，用于约束规划与闭环控制。EAV24硬件在环平台上的蒙特卡洛闭环实验表明领先获取率达94.7%、平均领先获取时间4.82 s，未观察到碰撞或赛道边界违规。该框架在领先获取率与领先获取时间上优于三个匹配基线，并在未见的Imola与Suzuka赛道分别保持91.8%与88.9%的领先获取率。原始消融支持自适应通道成形与持久战术状态：前者保持超车空间，后者通过滞回与侧承诺在重规划间维持该空间；响应集先验将交互推理迁移至演员，共享评论家表示学习其价值而无需在线候选枚举。在第5.8节中，该方法在测试的感知扰动与独立对手条件下相较iLQGames保持更高观测领先获取率与最小间隙、更低接触率。研究局限在于参数选择尚未在与最终评估独立的条件下验证；未来工作将分离调参与评估条件，并将测试扩展至全尺寸赛车，赛道验证将从低速配对行驶推进到高速超车，考察可能相对硬件在环降低超车间隙的真实世界感知相关性、遮挡延迟与轮胎/路面变化，该验证亦将指导向多车竞速的扩展。
