复杂交通环境中自动驾驶车辆的动态障碍物规避：一种基于引导增强的深度强化学习方法

《Engineering Applications of Artificial Intelligence》：Dynamic obstacle avoidance for autonomous vehicles in complex traffic environments: A guidance-enhanced deep reinforcement learning approach

　　潘志遥|陈晨|刘亚辉|郑鸿宇 中国长春市吉林大学汽车底盘集成与仿生学国家重点实验室，邮编130025

摘要
在复杂的交通环境中实现动态障碍物避让仍是自动驾驶车辆面临的关键挑战。尽管深度强化学习为这一问题提供了有希望的解决方案，但其实际应用却受到样本效率低和物理可行性受限的制约。为克服这些限制，本文提出了一种基于引导增强的深度强化学习方法——GE-DRL，该方法将具有预测功能的引导策略与约束模型预测控制相结合。在训练过程中，引导策略能够提供有用的参考动作，从而减少不安全且无效的探索行为；而设定的物理约束则确保所执行的操作在动态上可行。随着学习的推进，智能体逐渐从受引导的探索过渡到自主策略优化。实验结果表明，与MPC和传统DRL方法相比，所提出的方法在安全性、稳定性与效率之间取得了更好的平衡。尤其是MPC的适应性较差，且经常需要制动，从而导致交通效率降低；而无约束的DRL则容易产生过于激进的操控动作，可能使车辆失去稳定。相较于无约束DRL，所提方法可将车辆的峰值横向加速度降低54.56%。在各种自学习方法中，基于引导增强的软演员-评论家算法表现最佳，其障碍物避让成功率比基于引导增强的双延迟深度确定性策略梯度算法高出6%。这一优势主要源于SAC算法所具有的随机策略机制以及熵正则化处理，这使得它比TD3算法的确定性、基于噪声的探索机制具有更强的探索能力和适应性。这些结果凸显了GE-SAC在需要兼顾适应性与安全性的自动驾驶应用中的巨大潜力。

引言
自动驾驶车辆正在迅速改变交通领域的未来发展格局（Stein等人，2026）。确保其安全运行的关键功能之一便是避免碰撞的能力（Jalil等人，2025；Zhong等人，2026）。然而，在复杂的交通环境中设计出高效且可靠的动态障碍物避让策略仍然是一项艰巨任务（X. Zhang等人，2026；Zhang等人，2024）。在这样的环境中，自动驾驶车辆必须应对各种静态和动态障碍物，而这些障碍物往往具有不可预测的行为特征（Wu等人，2024；Yasak等人，2025）。此外，还有各种运动模式不确定的多模态交通参与者，这进一步增加了决策和路径规划的复杂性（Gharavi等人，2024；Schwarting等人，2018）。在现实世界的交通场景中，这一挑战尤为突出，因为自动驾驶车辆必须与那些行为复杂且难以预测的各类道路使用者相互协作（Pu等人，2025；Ziakopoulos和Yannis，2020）。因此，为自动驾驶车辆开发在复杂交通环境中能够安全、可靠且具备适应能力的障碍物避让策略，已成为提升交通安全与效率的重要研究方向。

目前已有许多用于障碍物避让的方法被提出。由于简单直观，基于规则的方法长期以来一直占据主导地位（Rafai等人，2022）。这类方法通过预定义的规则来实现障碍物检测与避让，通常依赖静态地图、反应式控制律以及确定性行为模型。虽然在静态或变化缓慢的环境中表现良好，但当应用于存在动态障碍物的复杂交通环境时，它们就暴露出了严重的局限性（Cui等人，2024）。基于规则的方法本质上是僵化的，缺乏在设计时未涵盖的场景中进行泛化的能力（Ibourk等人，2025）。由于没有自适应学习机制，它们无法对从未见过的障碍物或新的智能体行为做出有效响应（Hamissi等人，2025）。

为克服基于规则策略的僵化问题，近年来数据驱动方法逐渐流行起来（Y. Wang等人，2023）。这类方法利用大规模数据集来训练用于障碍物感知和决策的学习模型（Meftah等人，2024）。其示例包括监督学习技术以及通过专家演示进行的学习（Codevilla等人，2019）。通过模仿专家的行为，这些方法能够让智能体在特定环境中执行适当的操作。不过，尽管取得了不俗的成果，数据驱动方法仍面临两个重大挑战。首先，它们需要大量数据的收集与标注，而在复杂环境中这一过程成本极高（Liu等人，2022）。其次，当运行环境与训练数据分布不同时，这类方法往往缺乏足够的鲁棒性。这种分布差异可能导致泛化失败，尤其是在障碍物行为或环境动态与以往所见情况有所不同的情况下（Tami等人，2026；Toromanoff等人，2020）。此外，由于这类方法通常仅能复制专家的演示行为，因此往往只能生成次优策略，无法进一步提升性能以超越专家水平（Y. Zhang等人，2025）。在没有在线适应机制或从互动中学习的能力的前提下，这类模型在面对陌生情况时十分脆弱。对于必须在安全至关重要的环境中可靠运行的自动驾驶车辆而言，这一局限性尤为令人担忧，因为在这些环境中，新情况的出现是不可避免的。

为满足在复杂交通环境中实现自适应且灵活的障碍物避让需求，深度强化学习成为一种极具前景的解决方案（Kiran等人，2022；Peng等人，2022）。深度强化学习结合了深度学习强大的特征提取能力与强化学习基于试错的优化机制（Wu等人，2025）。这种协同作用使得智能体无需人工干预，就能通过与环境的互动来学习相应的策略（Ladosz等人，2022）。通过不断最大化累积奖励并最小化不良行为带来的惩罚，深度强化学习智能体能够逐步优化自身的策略（W. Wang等人，2023）。这一学习过程有助于它们形成能够适应环境变化和行为多样性的稳健策略（Alagha等人，2023）。正是由于这些特性，深度强化学习特别适合处理那些涉及高维状态空间和连续控制动作的任务（Bie等人，2024；Hernandez-Leal等人，2019）。在自动驾驶领域，深度强化学习有望通过提供稳健、可扩展且具备适应能力的障碍物避让策略，突破传统方法的局限。

尽管具有诸多优势，深度强化学习仍存在若干严重限制，这些限制阻碍了其在自动驾驶系统中的广泛应用（Tan等人，2024）。其中一个主要问题是其样本效率较低。大多数深度强化学习算法都需要与环境进行大量交互才能收集数据并学习出有效的策略（Huang等人，2023）。这就导致了漫长的训练时间、高昂的计算成本，以及在训练初期就频繁陷入次优行为模式的困境（Guo和Ma，2021）。另一个同样重要的问题在于，由深度强化学习生成的策略往往缺乏物理可行性和安全性保障（Bellegarda和Byl，2020；Wang等人，2025）。与那些明确考虑了车辆动力学和约束处理的基于模型的控制器不同，深度强化学习策略通常由作为“黑箱”的神经网络来表示。因此，这些网络生成的输出可能会违反运动学或动力学约束，比如出现不可行的转弯半径或加速度曲线，进而导致乘客不适或车辆不稳定。在自动驾驶这类对安全性要求极高的领域，这些问题会更加严重，因为任何一次故障都可能在实际应用中带来灾难性后果（Bellegarda和Byl，2020）。

为解决样本效率低的问题，近期有一些研究开始探索利用专家演示来指导初始训练过程（Huang等人，2023；Shang等人，2021）。与那种往往会导致低效探索的随机策略初始化方式不同，结构化的策略能够在训练初期为智能体提供有方向的指导（Li和Yu，2025）。虽然专家演示可以用于此目的，但由于数据收集成本高昂且场景具有特殊性，其应用范围仍然有限（Y. Zhang等人，2025）。作为一种替代方案，我们提议采用基于模型的非专家引导策略，该策略无需人工监督即可模拟安全的行为模式。

为解决深度强化学习策略生成的动作可能违反物理和动力学约束的问题，人们越来越倾向于将基于学习的算法与那些能在执行过程中强制保证物理可行性的机制相结合（Karniadakis等人，2021）。在各种候选解决方案中，约束模型预测控制已被证明是一种在动态和物理约束条件下进行实时轨迹优化的有效工具（Lin等人，2021；Z. Zhang等人，2025）。深度强化学习负责根据环境观测结果生成高层次的参考轨迹，而模型预测控制则确保这些轨迹在动态上是可行的（Al-Sharman等人，2023）。通过在每个时间步解决优化问题，模型预测控制能够计算出符合车辆动力学、物理约束以及安全裕度的控制指令（Schuurmans等人，2023；Yuan等人，2016）。将模型预测控制与深度强化学习相结合，有望在保持智能体自适应学习能力的同时确保物理可行性，从而提升策略的安全性及其在复杂交通环境中的实际应用价值。

尽管在这两个方向上都已取得一定进展，但现有研究很少同时考虑样本效率与物理约束的强制执行问题。大多数方法只解决了其中一个方面，因而无法形成完整的解决方案。为填补这一空白，我们提出了一种用于复杂交通环境中动态障碍物避让的新型引导增强型深度强化学习框架，如图1所示。该框架将具有预测功能的引导策略与约束模型预测控制相结合，从而实现高效的策略学习以及符合物理要求的控制效果。本研究的主要贡献如下：
1）我们提出了一种基于预测的动态势场方法，用于引导深度强化学习在动态环境中的初始学习过程。通过将障碍物运动状态的概率预测纳入排斥势场中，该方法能够提供具有预见性且可扩展的引导效果。与数据驱动的模仿学习不同，该方法是基于模型的，且成本较低，为在动态交互中引导策略的初始探索提供了一种通用方法。
2）我们开发了一种基于引导增强的软演员-评论家算法，该算法将基于模型的引导效率与随机探索的适应性相结合。这种设计不仅提升了策略的收敛速度，还增强了其对新场景的泛化能力，同时也为如何协同运用引导策略与基于熵的探索机制提供了方法论上的启示。
3）我们在所提出的框架中融入了约束模型预测控制，以此确保系统的物理可行性和整体安全性。这一整合展示了如何将基于学习的策略与传统的约束处理机制相融合，为自适应决策制定与车辆级安全要求之间搭建起了方法论上的桥梁。

章节节选
马尔可夫决策过程
车辆与环境之间的互动可以被建模为马尔可夫决策过程。该过程可以用一个元组M=(S,A,P,R,γ)来表示。其中，S代表状态空间，A代表动作空间，P代表状态转移概率分布，R代表即时奖励函数，而γ∈(0,1)则是奖励的折扣因子。

在时间t时，车辆处于状态st∈S，执行动作at∈A，随后从环境中获得反馈奖励r(st,at)∈R，之后系统状态会转变为

动态障碍物运动状态预测
在自动驾驶中，准确预测动态障碍物的状态对于实现提前决策至关重要。然而，车辆和行人的运动方式多种多样且变化突然，很难用单一的运动模型来描述。为解决这一问题，我们提出了一种基于交互式多模型与无迹卡尔曼滤波器的预测框架。通过结合交互式多模型方法的适应性以及无迹卡尔曼滤波器的非线性状态估计能力，该框架实现了

结果与讨论
本节通过硬件在环实验以及人类驾驶员在环实验，对所提出的GE-DRL方法进行了评估，分析了其在随机障碍物配置、密集多障碍物环境以及人类驾驶员交互行为条件下的障碍物避让性能、物理可行性、学习稳定性以及适应性。

结论
在本研究中，我们提出了一种用于复杂交通环境中自动驾驶车辆动态障碍物避让的GE-DRL框架。该框架结合了基于模型的预先引导、自适应策略学习以及物理可行性约束，从而确保车辆在面对动态障碍物时能够实现安全且高效的导航。与MPC和传统DRL方法相比，所提出的框架在安全性、效率与稳定性之间取得了更好的平衡。尤其重要的是，它避免了传统方法过于保守的问题。

CRediT作者贡献声明
潘志遥：概念构建、数据整理、形式分析、研究调查、方法设计、软件开发、可视化处理、初稿撰写。陈晨：数据整理、软件开发、结果验证。刘亚辉：形式分析、资源协调、软件开发、监督指导、结果验证、文稿审阅与编辑。郑鸿宇：数据整理、形式分析、资金筹集、项目管理、资源协调、监督指导、结果验证、文稿审阅与编辑。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
本研究得到了中国国家重点研发计划（项目编号2021YFB2500703）以及一汽大众中国环境保护基金会汽车环境保护创新领军计划的支持。