淡出专家引导：融合模型控制与深度强化学习的自动驾驶超车方法

《IEEE Open Journal of Control Systems》：Fading Expert Guidance: Bridging Model-Based and Learning-Based Control for Abortable Autonomous Overtaking

　　在双车道道路上超车是自动驾驶汽车面临的安全关键决策问题，因为对向来车可能迫使自车放弃超车并并回原车道。深度强化学习（DRL）在连续控制任务中颇具前景，但其需要大量交互数据，且在训练过程中可能产生不安全的探索动作。基于模型的控制器能够提供方结构化行为，但依赖于模型保真度和手工设计的逻辑。本文提出了一种淡出专家指导框架，利用基于模型的控制器来指导自动驾驶超车场景中的深度强化学习训练。该专家系统结合了约束迭代LQR（CiLQR）规划器与基于PID的辅助控制器，当优化方案变为不可行时启动。专家动作通过一个淡出项进入策略网络的目标函数，可解释为围绕专家策略的时变软信任域。该项首先将策略偏向专家，随后逐渐消失，从而允许根据强化学习目标进行优化。该方法分别采用PPO、TD3和SAC进行了评估。双向交通仿真结果表明样本效率和最终任务性能均有所提升。安全效果因算法而异：专家指导减少了SAC的车辆碰撞，消除了TD3的边界碰撞，而PPO的碰撞状况则保持不变。总体而言，结果支持淡出专家指导作为一种实用机制，可将基于模型的驾驶知识迁移至基于学习的控制器中，同时不限制最终策略仅进行模仿，适用于双向交通中可中止的超车任务。