《Green Energy and Intelligent Transportation》：Expert Knowledge-driven Reinforcement Learning for Autonomous Racing via Trajectory Guidance and Dynamics Constraints
编辑推荐：
强化学习在自动驾驶赛车领域展现出了巨大的潜力，但在高动态赛车场景中仍面临训练不稳定、探索效率低下以及动作输出不安全等挑战。本文提出了一种用于自动驾驶赛车的轨迹引导与动力学约束强化学习框架。该方法通过最小曲率赛车线引导、显式车辆动力学约束以及两阶段课程学习，将专
强化学习在自动驾驶赛车领域展现出了巨大的潜力，但在高动态赛车场景中仍面临训练不稳定、探索效率低下以及动作输出不安全等挑战。本文提出了一种用于自动驾驶赛车的轨迹引导与动力学约束强化学习框架。该方法通过最小曲率赛车线引导、显式车辆动力学约束以及两阶段课程学习，将专家先验知识融入策略学习中。最小曲率赛车线通过观测增广和奖励塑造提供全局路径和速度参考，从而提高探索效率和赛车性能。引入横摆角速度和质心侧偏角约束来表征车辆动态安全操作包络，并通过拉格朗日松弛法将相应的稳定性代价纳入策略优化中。此外，两阶段课程学习策略实现了从稳定轨迹跟随到高速性能探索的渐进过渡。在两条赛道上的实验表明，TraD-RL在提高赛车性能的同时，保持了速度与动态稳定性之间的良好平衡。进一步的消融分析、敏感性和鲁棒性分析验证了所提出框架的有效性和稳定性。
自动驾驶赛车作为自动驾驶研究的重要子领域，具有高动态机动、强非线性的车辆行为以及在操纵物理极限下运行的特点。其主要目标是在遵守比赛规则和安全约束的前提下尽可能缩短单圈时间。目前，传统方法如模型预测控制（MPC）在高速条件下常因轮胎达到摩擦极限引发高度非线性行为而表现受限，基于优化的策略易产生保守驾驶。虽然基于学习的方法如学习型MPC（LMPC）和模仿学习（IL）展现出潜力，但分别面临模型适应困难和依赖难以获取的高质量专家数据集的问题。普通的强化学习（RL）方法在训练中常伴随样本效率低下、稀疏奖励导致收敛缓慢等问题，且标准RL往往忽视安全性约束的显式建模，在试错探索中易产生违反约束的不安全动态行为。现有的安全RL研究多聚焦于自车与外部环境的碰撞避免，而鲜有针对赛车自身动态稳定性的研究。为解决上述问题，研究人员提出了一种融合轨迹引导与动力学约束的强化学习决策与控制框架，旨在通过引入专家先验知识来改善探索效率并确保高速场景下的动态稳定性。该研究得出结论，所提框架能在提升赛车速度性能的同时保持动态稳定性，并在仿真赛道上展现出良好的跨赛道泛化能力与鲁棒性。该论文发表在《Green Energy and Intelligent Transportation》上，对推动自动驾驶赛车在极限边缘的安全部署具有重要意义。
在关键技术方法方面，研究人员采用了基于动态自行车模型的车辆状态空间表征方法。首先，通过最优路径规划算法求解最小曲率赛车线（MCRL），并基于GGV包络的前向-后向积分方法生成参考速度剖面。在算法架构上，研究人员构建了由卷积神经网络（CNN）与多层感知机（MLP）组成的Actor-Critic网络。训练中引入了自适应拉格朗日乘子法，将基于控制障碍函数（CBF）启发的动态安全约束转化为软约束惩罚项纳入策略优化，并结合滑动窗口机制平滑稳定性代价。此外，还设计了以训练步数为阈值的二阶段课程学习策略。
研究结果部分总结如下：
实验设置：研究基于柏林坦佩尔霍夫机场街道赛道和莫德纳赛道构建仿真环境，并在柏林赛道上训练智能体，同时在两条赛道上进行评估。对比模型包括MPC、PPO、DDPG、TAL和SAC-Lag。评估指标涵盖单圈平均速度、单圈时间、时间平均横摆角速度不安全次数、时间平均质心侧偏角不安全次数及单圈进度。
训练结果：通过多维度性能指标学习曲线的研究得出，得益于MCRL的先验引导，所提方法在训练后期稳定实现了更短的单圈时间和更高的单圈平均速度，并在约15k步后稳定保证100%的单圈进度，展现出显著的安全改进与训练稳定性。
测试结果：对比各算法的赛车性能与安全性指标得出，TraD-RL在两条赛道上均取得了最佳的单圈成绩，且相较DDPG和TAL显著降低了质心侧偏角不安全次数。研究表明，引入的MCRL路径与速度参考有效提升了赛道的利用率与高速过弯能力，而CBF启发的动态约束则指导策略在安全操作包络边界运行，实现了性能与安全性的良好折中。
案例研究：通过分析连续弯道中的轨迹、速度及G-G图分布得出，TraD-RL在MCRL全局引导下生成了更平滑连续的驾驶轨迹，并在弯道中保持了更高的速度。相比TAL，该方法在强非线性操纵条件下产生了更平滑的横摆角速度与质心侧偏角响应，有效抑制了过度的动态波动。
消融实验：通过移除轨迹引导模块和显式动力学约束模块进行对比研究得出，移除轨迹引导会导致赛车性能大幅退化，证明MCRL提供了有效的先验知识；而移除动力学约束虽略微提升平均速度但显著增加了约束违反次数，证明显式约束能有效抑制激进控制行为，避免趋近不稳定动态状态。
敏感性与鲁棒性分析：通过改变二阶段课程切换步数和添加不同强度的观测高斯噪声进行研究得出，切换步数为200k时能最好地平衡轨迹引导与高速探索；在中等及强噪声条件下，策略仍能保持稳定完成单圈，且动态状态违反次数未恶化，证明了策略对观测不确定性的鲁棒性。
计算效率分析：通过测试各模块运行时间得出，状态感知模块平均耗时约74.96 ms，策略推理模块平均耗时约1.44 ms，低计算延迟表明该方法具备实车部署的潜力。
在讨论部分，研究人员指出，显式动态约束并未简单地以降低速度换取安全性，而是引导车辆在安全包络边界高效运行。由于采用基于拉格朗日松弛的软约束机制而非硬约束投影，ω-TaUT和β-TaUT未能降至零，该机制更应被理解为通过稳定性代价减小和缓解不安全动态状态。研究总结结论认为，TraD-RL框架成功将MCRL轨迹引导、车辆动力学约束与两阶段课程学习融入训练，在保持速度与动态稳定性平衡方面优于基线算法。然而，当前基于简化动态仿真与线性轮胎模型的验证尚不能完全捕捉极限操纵下的非线性特征，未来需引入Pacejka轮胎模型等高保真仿真环境，进一步研究不同车辆参数与路面附着变化的影响，并解决神经网络直接输出导致的动作振荡问题，以及考虑多车对抗竞赛场景以全面评估部署潜力。
