从多视图图像到驾驶控制:基于场景表示的强化学习实现端到端自动驾驶

《Neurocomputing》:From multi-view images to control: End-to-end autonomous driving via scene-representation-based reinforcement learning

【字体: 大 中 小 】 时间:2026年04月08日 来源:Neurocomputing 6.5

编辑推荐:

  本研究提出一种端到端自动驾驶框架,通过结构化的空间表示模块将多视角图像转换为分离静态路标、动态目标和车辆状态的BEV表征,并采用增强的PPO规划模块实现感知与规划的无缝集成。结合IL预训练与RL微调的混合范式,有效提升复杂场景下的泛化能力和闭环控制性能,在CARLA和Bench2Drive基准测试中取得优于传统方法的结果。

  
Jie Xia|Kexu Zhan|Xiaodong Wu|Yuanbo Han|Boran Shi|Min Xu
上海交通大学智能车辆研究所,上海,200240,中国

摘要

在自动驾驶中,将高维感知有效地映射到低维动作仍然是端到端(E2E)策略学习的关键挑战。虽然模仿学习(IL)方法能够实现高训练效率,但泛化能力较差;而强化学习(RL)方法虽然泛化能力较好,但通常依赖于伪鸟瞰图(BEV)特征,并且缺乏感知与规划之间的深度整合。为了解决这些限制,我们提出了一个端到端(E2E)框架,该框架将结构化的空间表示与规划统一起来,其中规划模块通过RL进行优化。我们的实体结构化空间表示模块使用6个RGB相机构建了一个360度环绕视图系统,并将多视图图像转换为结构化的BEV表示。这种表示将静态道路元素、动态代理和自我车辆状态编码为独立的标记,通过注意力机制实现语义解耦和关系推理。空间特征被输入到一个改进的近端策略优化(PPO)规划模块中,旨在提高探索能力和稳定性。一个轻量级的策略网络生成控制指令,而另一个价值网络估计状态值。我们采用了一种混合训练范式,先用IL进行预训练,再用RL进行微调,以增强泛化和鲁棒性。在CARLA模拟器和Bench2Drive基准测试上的评估表明,我们的方法在不需要依赖模拟器特权状态的情况下,实现了具有竞争力的闭环性能。特别是,实体结构化标记接口和稳定的PPO目标提高了在高交互场景中的学习稳定性和探索效率,使得在多种驾驶任务中能够做出稳健的决策。尽管在具有挑战性的路线上,整体成功率和效率仍有提升空间,但结果支持了我们统一的感知到规划设计的有效性,并激发了未来在模拟到现实转移和道路验证方面的工作。

引言

随着数据驱动算法和智能规划技术的快速发展,端到端(E2E)自动驾驶方法在学术界和工业界都受到了广泛关注。与传统模块化自动驾驶系统相比,E2E方法将感知、预测和规划整合到一个统一的框架中,实现了从原始传感器输入到控制输出的直接映射[1]、[2]、[3]。这降低了中间模块的复杂性,最小化了不同组件之间的通信延迟,并提高了系统的响应速度和效率。此外,在这个框架中,损失的反向传播允许跨不同模块的任务进行联合优化,实现了全局优化。这种技术范式在多个公共基准测试和模拟平台中取得了有竞争力的结果,促进了自动驾驶系统的智能化和简化。在短时间内,E2E自动驾驶已经导致了各种实现,包括基于模仿学习(IL)、强化学习(RL)和其他方法[4]的实现。其中,基于RL的方法在复杂环境中的路径规划方面展示了卓越的效率和组合优化能力[5],为E2E系统处理动态和交互场景提供了关键技术支持。这些方法在不同的场景中取得了显著的结果,显示出有希望的应用前景。
基于IL的E2E方法主要依靠深度学习来模仿示范数据中的专家驾驶行为,使自我车辆能够有效获取驾驶技能[6]。如图1(a)所示,这类方法以高训练效率和快速收敛而闻名,特别适用于具有丰富驾驶数据但交互机会有限的场景。该领域的一个代表性工作是UniAD,它是第一个行业级的端到端全栈驾驶模型,将所有关键子任务整合到一个为最终驾驶目标优化的统一架构中[7]。Uni-AD将对象检测、多目标跟踪、在线地图构建、运动预测、占用预测和轨迹规划等任务整合到一个深度神经网络中,促进了任务协同。其架构采用变换器解码器来建模任务间关系和时间依赖性,显著提高了鲁棒性和性能。在此基础上,VAD通过用向量化格式替代传统的栅格化表示,进一步提高了建模精度和架构简洁性[8]。它结构化地编码了关键场景元素,并为自我车辆规划受限轨迹,从而更好地遵守交通规则并在动态场景中适应。GenAD通过引入以实例为中心的场景标记化机制扩展了VAD框架[9]。它结合了场景分词器生成实例级标记,融合了地图和感知信息,允许更细粒度和结构化的场景建模。此外,GenAD使用变分自编码器[10]来建模未来轨迹分布,在潜在空间中学习轨迹先验,增强了系统表示多模态驾驶行为的能力。为了更有效地处理动态交互,Wang等人[11]引入了分层融合和博弈论交互建模,通过条件预测和规划提高了复杂城市驾驶的安全性和性能。
尽管在公共数据集上取得了成功,IL方法在闭环测试中常常遇到困难。这种限制源于它们对专家示范的依赖,使它们容易受到分布变化和未见场景的影响,在这些场景中安全和合理的规划至关重要[12]。这些方法在现实世界部署中往往由于泛化能力有限而出现策略失败。相比之下,RL使自我车辆能够通过与环境的持续交互自主获取反馈[13]。RL在探索和策略适应方面表现出色,提供了更强的泛化和鲁棒性,可以解决IL的许多缺点。
基于RL的E2E方法通常基于深度强化学习(DRL),将深度神经网络与RL框架相结合[14]。这种方法如图1(b)所示,允许自我车辆通过试错交互在高维感知空间中学习最优策略。与IL不同,RL不需要显式监督,而是依赖于精心设计的奖励函数来指导行为优化。这类方法具有高度适应性,并且在理论上是最优的,非常适合复杂和不确定的驾驶环境。Roach是一个著名的基于RL的专家策略框架,它采用近端策略优化(PPO)[15]来从鸟瞰图(BEV)风格的环境表示中学习连续控制[16]。Deng等人提出了一个具有双阶段约束适应的上下文感知元RL框架,基于Roach引入了元RL策略[17]。他们的方法并行部署了多个任务,并简化了元训练流程,提高了学习效率和可迁移性,从而在多种驾驶场景中产生了高度泛化的策略。Think2Drive代表了第一个应用于自动驾驶的基于模型的RL方法[18]。它训练了一个世界模型来捕捉环境动态,并在学习的潜在空间中进行下游策略优化,显著减少了对现实世界交互的依赖,提高了样本效率和泛化能力。此外,还探索了分层和多智能体RL,其中Gao等人将IDM控制与D3QN决策层相结合,增强了混合交通中的协作变道行为,展示了多智能体DRL在协调驾驶方面的潜力[19]。
大多数现有的基于RL的E2E驾驶方法仍然依赖于由单独的感知模块生成的伪BEV表示。这导致感知与规划之间的耦合松散,阻碍了感知特征与规划器的联合优化,限制了真正的端到端全局优化的潜力。
尽管在E2E自动驾驶方面取得了显著进展,但在感知-规划集成、策略泛化和闭环控制稳定性方面仍存在挑战。在复杂或未见过的环境中,传统方法,特别是基于模仿学习或伪BEV表示的方法,通常在鲁棒性、泛化和稳定性方面存在问题。为了解决这些问题,我们提出了一种结合IL和DRL的E2E驾驶策略。这种混合方法使系统能够“模仿”、“推理”和“适应”,从而实现更智能的驾驶行为。该框架如图1(c)所示,该方法在CARLA模拟器中进行了评估。我们的贡献包括几个关键设计和改进:
  • 1.
    基于RL的E2E感知-规划集成,从图像到控制。传统的RL方法使用来自模拟器的伪BEV表示,绕过了感知模块,限制了优化。我们设计了一个可训练的网络,从多视图RGB图像中学习BEV表示,在我们的E2E框架中紧密耦合了感知和规划,提高了信息完整性和性能。
  • 2.
    改进的PPO用于闭环E2E控制。鉴于E2E闭环控制的复杂性,我们通过在损失函数中加入增强型探索和稳定性以及稳定的策略更新来优化PPO算法。这些设计使得在CARLA训练中的学习和控制性能高效且稳定,并在多种驾驶任务中实现了具有竞争力的端到端控制性能,与标准PPO和几个代表性基线相比,在训练稳定性和安全感知探索方面表现出了一致的改进。
  • 3.
    混合训练范式:IL用于效率,RL用于适应。为了解决IL的泛化限制并提高训练效率,我们采用了基于Bench2Drive[20]的两阶段流程:先用IL进行专家示范的预训练,然后进行RL微调,以弥合分布差距并提高适应性和鲁棒性。
  • 总之,我们的方法通过E2E感知-规划集成、PPO改进和混合IL-RL学习范式提高了泛化和控制性能。
    本文的其余部分组织如下。第2节在部分可观测马尔可夫决策过程(POMDP)的框架内阐述了问题。第3节介绍了整体模型架构,重点介绍了提出的实体结构化空间表示和基于PPO的规划模块。第4节详细介绍了实验设置和结果。最后,第5节总结了本文。

    章节片段

    自动驾驶作为POMDP

    在现实世界的自动驾驶规划中,代理通常无法访问环境的完整状态。例如,其他交通参与者的意图、盲点中的障碍物或传感器噪声引起的不确定性导致系统的部分可观测性。为了有效建模这些挑战,POMDP框架提供了比完全可观测模型更现实的数学表述。

    端到端驾驶框架

    本研究提出了一种基于环绕视图图像的E2E DRL自动驾驶方法,旨在实现感知和规划的统一优化。整体框架如图2所示,包括两个模块:实体结构化空间表示模块和规划模块。该模型以来自多个RGB相机的环绕视图图像作为输入,首先通过表示模块提取特征,然后规划模块生成优化的控制指令

    实验评估与分析

    本研究基于CARLA模拟环境进行所有实验,使用Bench2Drive提供的评估框架来验证所提方法在复杂交通环境中的规划性能。训练过程主要包括两个阶段:IL预训练和基于RL的闭环策略优化。

    结论

    本文提出了一个用于自动驾驶的端到端感知和规划集成学习框架,实现了从环绕视图图像感知到控制策略输出的完整过程。在感知建模方面,提出的实体结构化空间表示模块有效地分离和建模了静态地图元素、动态目标实体和自我车辆的状态,提高了BEV表示的结构清晰度和语义表达能力。

    CRediT作者贡献声明

    Jie Xia:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,监督,软件,项目管理,方法论,调查,形式分析,数据整理,概念化。Kexu Zhan:撰写 – 原始草稿,可视化,验证,软件,调查,形式分析,数据整理,概念化。Xiaodong Wu:撰写 – 审稿与编辑,监督,软件,资源,项目管理,方法论,调查,资金支持

    利益冲突声明

    作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
    Xiaodong Wu报告称获得了中国国家自然科学基金的财政支持。Kexu Zhan与安徽奇瑞汽车有限公司有雇佣关系。如果有其他作者,他们声明没有已知的财务利益或可能影响公正性的个人关系

    致谢

    作者感谢中国国家自然科学基金项目52472413的财政支持。
    Jie Xia获得了重庆大学的工学学士学位。她目前正在上海交通大学机械工程学院智能车辆研究所攻读硕士学位。她的研究重点是自动驾驶决策和规划,特别关注集成多视图感知、结构化场景表示和闭环自动驾驶轨迹规划的端到端学习方法。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号