《Actuators》：A Comprehensive Review of End-to-End Autonomous Driving: Architectures and Emerging Trends
编辑推荐：
端到端自动驾驶是一项新兴技术，也是工业界与学术界共同关注的核心研究方向。该技术将感知、定位、决策与控制整合至单一模型中，旨在简化传统模块化流水线，同时也带来了安全性验证与可解释性层面的全新挑战。现有综述多集中于算法梳理，本综述则提出一种新颖的功能导向分类体系，
端到端自动驾驶是一项新兴技术，也是工业界与学术界共同关注的核心研究方向。该技术将感知、定位、决策与控制整合至单一模型中，旨在简化传统模块化流水线，同时也带来了安全性验证与可解释性层面的全新挑战。现有综述多集中于算法梳理，本综述则提出一种新颖的功能导向分类体系，将端到端架构划分为感知集成与规划集成两类范式。除架构维度外，研究深入分析了安全性与可解释性这一关键议题，重点指出了理论设计与实际部署所需可靠性之间的根本差距。。通过结合数据闭环工作流与仿真测试的真实案例，研究探讨了工业落地可行性，并针对延迟与算力约束等实际限制进行了分析。最后，综述明确了长尾数据稀缺与人类驾驶行为对齐决策能力不足等关键挑战，并展望了实现鲁棒自动驾驶能力的未来发展方向。
1. 引言
全球机动车保有量快速增长背景下，道路事故与交通拥堵问题日益凸显，超过90%的交通事故由人为驾驶失误导致，凸显了人工驾驶的风险性。汽车产业智能化转型催生了对自动驾驶技术的迫切工业需求，特斯拉、小鹏等企业积极布局相关技术，各国政策也为技术发展提供了支持，驾驶主体从人类向机器系统的迁移已成为明确趋势。自动驾驶系统主要分为模块化与端到端两类范式：模块化系统通过感知、定位、决策、控制的级联流水线实现驾驶任务，早期具备模块可解释性与调试便利性优势，但在复杂场景中存在模块间误差传播、动态环境适应性不足、模块间时序滞后导致的响应延迟等问题，例如光照变化下的感知误分类会逐级传递至控制模块，最终影响系统安全性。端到端系统通过单一模型直接将传感器输入映射为车辆控制输出，常用卷积神经网络（Convolutional Neural Network, CNN）实现，其优势在于消除模块化系统的信息传递误差累积，并可依托大规模驾驶数据集进行有效训练，同时可通过监督学习预训练原始输入并生成未来场景预测，构建数据驱动框架。但该直接映射方式存在可解释性不足的缺陷，目前研究主要通过引入Transformer架构结合注意力可视化技术或多模态融合来提升透明度。现有相关研究多集中于早期架构梳理、方法学探讨或特定技术维度分析，本综述则覆盖最新进展与更广泛的研究主题，通过对比明确自身贡献。研究围绕三个核心问题展开：一是基于输出接口、中间规划表征与下游控制器耦合度的端到端架构功能导向区分；二是学习范式与架构选择对安全性、可解释性及评估可靠性的影响；三是面向执行器接口部署时的鲁棒性、泛化性与可部署性提升的关键挑战与未来方向。研究人员筛选了IEEE Xplore、Web of Science等数据库中2014至2025年的190余篇相关文献，检索关键词涵盖端到端自动驾驶、轨迹规划、模仿学习、强化学习、鸟瞰图（Bird’s-Eye View, BEV）表征、Transformer自动驾驶、多模态融合、自动驾驶基准测试与世界模型等，主要贡献包括提出互斥清晰的功能导向端到端架构分类框架、建立挑战与未来趋势的系统对应关系、弥合学术研究与实际应用的脱节。
2. 模块化与端到端方法对比
2.1 模块化架构
模块化架构又称传统架构，采用“流水线”隐喻描述其工作流，遵循分治工程原则，包含感知、定位、决策、控制四大独立开发并通过流水线集成的模块。感知模块作为系统“耳目”，负责环境理解，任务包括目标检测、路径跟踪与场景理解，常用多传感器融合与占据栅格地图技术；定位模块通过GPS与高精地图识别车辆位姿；决策模块基于感知输入生成最优行为与路径，可应用博弈论、模糊理论等方法优化人机交互与多车场景下的决策；控制模块作为执行层，将决策生成的轨迹转化为加速、制动、转向等具体指令，常用比例-积分-微分（Proportional–Integral–Derivative, PID）控制与模型预测控制（Model Predictive Control, MPC）。该架构在规则清晰的环境中表现良好，但存在上游模块误差向下游传播导致性能退化、多传感器与算法堆叠导致资源利用效率低、模块独立性导致可扩展性与可维护性不足等局限。
2.2 端到端架构
端到端自动驾驶通过单一模型将传感器输入直接映射为车辆控制命令，消除模块化级联处理流程，避免误差累积并简化数据处理流水线。该概念最早由ALVINN于1988年提出，采用三层反向传播神经网络基于模拟道路图像预测行驶方向；2016年英伟达通过训练CNN将单目摄像头原始像素映射为转向命令，推动了技术快速发展。本综述基于推理阶段输出接口及其与下游控制模块耦合度，将端到端架构分为两类：感知-控制集成范式通过单一网络直接将原始传感器输入映射为转向角、加速度等底层控制信号，无需显式轨迹或语义输出，典型研究通过引入视觉记忆、运动学知识与BEV表征提升多场景鲁棒性，具备无中间语义、延迟最低的优势，但长记忆窗口易导致训练不稳定且缺乏可解释中间轨迹；感知-规划集成范式在推理阶段生成航点（Waypoints）或代价地图等中间规划输出，再由反馈控制器跟踪预测轨迹，不同于直接输出底层控制信号的模式，该范式通过稀疏表征、时序约束等技术优化规划层面性能，正向统一Transformer架构演进以提升可扩展性，但面临多任务学习的梯度冲突与Transformer骨干网络高计算开销的挑战，可采用分阶段冻结感知任务再微调规划任务的策略缓解冲突。
2.3 输入模态
相机是最常用的输入模态，可捕获场景纹理、颜色与语义信息，端到端架构中直接作为网络输入，通过深度学习自动提取特征，多相机系统可构建BEV表征，但在强光、雨、雪等极端光照条件下性能受限；激光雷达（LiDAR）通过生成高精度3D点云提供空间几何与距离信息，受低光照、眩光、遮挡影响小，适用于障碍物与动态目标检测，但成本高昂制约消费级应用；导航输入用于指定车辆行驶目标，包括GPS提供的目标位置与高精地图提供的车道线等环境信息，训练中可利用模块化特权信息学习环境特征，常与BEV结合提升性能，但在高密度建筑区易受信号干扰，且高精地图实时更新维护成本较高。
2.4 输出模态
直接控制信号是最常用的输出模态，包括转向角与加速度，适用于高实时性、低复杂度场景，避免传统架构的中间模块，但全局优化能力有限，常与其他输出模式结合；航点是一段时间内车辆需经过的目标点集合，作为路径规划的中间表征，可降低学习复杂度，通过成本函数优化选择，再经底层控制模块转换为具体指令，但存在预测延迟影响系统性能的问题；多任务输出在同一模型中同时预测多个任务，提升整体性能并实现端到端协同优化，例如联合输出未来轨迹航点与RGB-D语义分割图，或预测未来BEV场景与动态约束平滑轨迹，但需解决任务间权重分配与梯度冲突问题，且对算力要求较高制约大规模部署。
3. 关键技术与范式
3.1 模仿学习（Imitation Learning, IL）
行为克隆（Behavioral Cloning, BC）将模仿学习视为监督学习，基于专家状态-动作对训练策略以复现专家行为，可实现单车道保持等简单任务，但在复杂场景下易受协变量偏移影响，即专家演示的状态分布与测试时状态分布存在差异，微小初始误差会导致智能体进入分布外状态并引发误差累积，可通过数据集聚合（Dataset Aggregation, DAgger）等交互学习方法持续扩充训练数据以缓解该问题。逆强化学习（Inverse Reinforcement Learning, IRL）通过专家示例估计马尔可夫决策过程的奖励函数，最大熵IRL可解决奖励函数歧义问题，适用于多车道换道、交叉路口等复杂场景，生成对抗模仿学习（Generative Adversarial Imitation Learning, GAIL）通过生成器与判别器的对抗训练直接优化策略匹配专家数据分布，无需显式定义奖励函数，成为端到端领域的新兴方法。模仿学习虽可快速学习驾驶策略，但受限于专家数据偏差与复杂任务中专家行为覆盖不足导致的泛化能力受限。
3.2 强化学习（Reinforcement Learning, RL）
强化学习通过智能体与环境交互反馈学习策略，最大化预期累积奖励，不依赖专家演示，可适应复杂动态场景。基于价值的方**通过学习状态或状态-动作值函数（Q函数）指导动作选择，深度Q网络（Deep Q-Network, DQN）及其变体Double-DQN、Dueling-DQN可处理多维状态空间，但需引入安全屏蔽机制约束不安全动作；基于策略的方法直接优化参数化策略，经典REINFORCE算法因训练方差高、样本效率低，在实际自动驾驶中较少直接应用；融合方法采用演员-评论家（Actor–Critic, AC）架构，结合价值估计的样本效率与策略优化的连续控制优势，近端策略优化（Proximal Policy Optimization, PPO）、深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）、柔性演员-评论家（Soft Actor–Critic, SAC）等方法在连续控制任务中各有侧重，PPO通过限制策略更新幅度保障高维视觉驾驶任务稳定性，DDPG适用于转向、油门、制动的连续决策，SAC通过熵正则化提升探索效率，但需结合屏障函数等安全机制约束危险探索。目前强化学习在端到端驾驶中的应用仍集中于仿真环境，需结合安全屏蔽与约束设计才能实现规模化部署。
3.3 仿真到实车迁移（Sim-to-Real Transfer）
为避免实车训练的高成本，模型常在仿真环境中训练后迁移至真实场景，但仿真与真实世界在光照、车辆动力学等方面的差异导致“现实鸿沟”。域适应方法可提升跨域泛化能力，自监督学习通过预定义任务在无标签数据中学习鲁棒中间表征，减少人工标注需求但仍需大量真实数据预训练；无监督跨域适应通过未标记真实数据微调仿真训练模型，例如ePointDA框架通过渲染合成LiDAR数据的丢弃噪声与统计不变、空间自适应特征对齐，缩小合成数据与真实数据的域差距；RL-CycleGAN引入强化学习场景一致性损失，使模拟图像更接近真实分布，适配端到端策略需求。仿真到实车迁移可减少标注真实数据需求，缓解模仿学习与强化学习的数据瓶颈，但仍无法完全消除分布差距导致的性能退化。
3.4 Transformer架构
Transformer通过自注意力机制建模输入依赖关系，可有效捕获序列与多模态数据的长距离上下文，其统一的查询-键-值（Query–Key–Value, QKV）接口支持多模态嵌入同一向量空间，适用于多模态融合与BEV特征提取，可作为跨模态场景编码器实现车道几何与时序偏移编码，甚至生成式强制碰撞约束以保障轨迹物理可行性。Transformer具备良好的可扩展性，模型与数据规模提升时可预测性增强性能，但自注意力二次计算复杂度导致推理延迟与算力需求激增，制约实时部署。研究通过稀疏注意力架构、扩散规划模型等策略缓解开销，例如SparseDrive、MomAD等效率导向变体通过稀疏查询或时序一致性机制降低注意力计算量，扩散规划模型可在45 FPS帧率下实现实时性能，并预测超过10秒的多模态复杂轨迹，平衡高性能与计算可行性。
3.5 世界模型（World Model）
世界模型可合成多样化、逼真的驾驶场景推演，丰富训练数据并支持长尾事件（如行人突然横穿）仿真，提升系统对周围智能体的识别与意图预测能力。典型工作如GAIA-1通过扩散解码器捕获驾驶场景时空动态与高层结构，DriveDreamer扩展条件扩散框架联合预测未来帧与偏航角、速度等动作。世界模型通过大语言模型（Large Language Model, LLM）引导的语义推理、统一隐空间表征等方式提升长尾场景泛化能力，但目前仍存在动作细粒度控制困难、连续动作隐空间表征学习难度大、数据集覆盖多样性不足、长尾问题尚未完全解决等局限。
4. 安全性
端到端系统高度依赖深度神经网络，易受对抗攻击，例如交通标志粘贴贴纸、特定服装图案即可诱导系统错误判断，且强化学习普遍存在奖励错位风险，直接提升碰撞与违规概率。当前评估方法多局限于闭环仿真或形式化验证，需结合驾驶行为分析全面评估实际安全性，可通过静态奖励审计对齐学习目标与安全目标，采用基于智能体交互的仿真测试方法构建贴近真实的危险场景，结合共形预测与形式化验证识别潜在风险，但过度保守预测可能影响系统性能。主动安全防护机制包括安全约束、安全优化学习与安全检查触发三类：安全约束通过安全代价函数、避障策略限制不安全轨迹；安全优化学习通过约束、对抗目标或不确定性感知学习提升策略鲁棒性；安全检查触发在检测到不安全行为时启动干预层，但可能引入保守响应。世界模型与形式安全保证结合是新兴方向，可在潜空间过滤违反限速等不安全动作，但未知长尾场景仍是当前安全技术的边界，同时需兼顾伦理考量与合规要求以构建公众信任。
5. 可解释性
端到端架构缺乏显式中间表征与模块边界，决策逻辑追溯困难，可解释性直接影响系统可部署性与优化潜力。可解释性需满足忠实性（解释反映模型真实决策机制）、稳定性（相似输入产生一致解释）、人类可接受性等标准。局部推理聚焦特定输入下的瞬时决策逻辑，通过显著性图、注意力机制识别模型关注区域，采用反事实或消融干预测试决策一致性，自解释网络通过内置解释机制实现训练与解释同步，但仅能解释单时刻控制逻辑，无法揭示长时序与多场景下的全局行为模式。全局推理则关注长视野策略与场景级行为一致性，通过生成式预测未来轨迹、因果建模解析决策链，提升长期行为预测与决策透明度，但需承担更高的计算开销与时延代价，需在解释的时间视野稳定性与场景级合理性层面持续优化。
6. 基准测试
6.1 数据集
丰富多样的场景数据集是端到端模型泛化与鲁棒性的基础，KITTI、A2D2覆盖基础驾驶场景，BDD100K、DriveLM面向大规模多样化场景，ApolloScape、nuScenes聚焦城市场景细粒度标注。标注过程多采用弱监督降低人工成本，但易引入标签噪声，需严格质量控制。未来数据集设计需重点覆盖极端场景与长尾问题、提升标注质量与多任务支持能力、增强跨区域跨场景适应性以适配不同城市交通规则。
6.2 评估方法
开环评估基于预定义数据集输入模型生成输出，不与环境交互，通过轨迹L2误差、碰撞率等指标评估理想静态环境下的决策稳定性，效率高但缺乏环境反馈，难以反映真实性能。闭环评估将模型决策应用于动态变化的车辆与环境，形成感知-决策-控制完整反馈回路，通过驾驶得分、路线完成率等指标评估复杂场景下的长期稳定性，但存在仿真到实车鸿沟，需通过高保真车辆动力学与多智能体交互仿真缩小差距。两类评估方法互补，开环用于快速迭代筛选，闭环用于动态交互验证。CARLA是当前主流仿真平台，提供逼真城市场景、多交通参与者与多传感器支持，适用于从学术研究到工业部署的全流程测试。
7. 端到端架构的工业应用
特斯拉FSD采用纯视觉技术栈，以视觉占据网络为核心场景表征，无需依赖高精地图，在BEV空间完成规划，通过“车队-数据引擎-训练-车队”闭环实现选择性数据采集与可扩展标注，结合影子模式并行运行候选模型与人类驾驶数据，实现在线回归门控与数据挖掘，其占据网络表征与纯视觉方案的可行性高度依赖车队级数据闭环能力。小鹏XNGP采用XNet（感知）、XPlanner（规划）、XBrain（认知）技术栈，XNet输出2K分辨率占据栅格，支撑XPlanner从规则轨迹生成向神经规划器演进，其工业化落地的核心瓶颈已从模型设计转向数据流水线吞吐量，自动化标注能力与模型压缩技术是规模化部署的前提。地平线SuperDrive采用融合式端到端感知架构，集成动态感知、静态感知与占据估计，基于Transformer架构并通过Journey 6平台与Nash BPU架构实现软硬件协同优化，算法栈与边缘算力基础设施的深度耦合是其落地关键。百度AIR ApolloFM基于视觉-语言-动作（Vision–Language–Action, VLA）基础模型构建，输出开放集感知信号、场景描述与驾驶动作三重结果，通过三种部署模式平衡推理能力与延迟预算，实现从具身基础模型到实时4D全场景感知与端到端驾驶模型的细化落地。
8. 挑战与未来趋势
8.1 挑战
数据与长尾问题表现为大规模多样化标注数据供给不足，Transformer等复杂架构的性能释放高度依赖数据规模，现有数据集多模态覆盖不全、地理多样性不足导致模型泛化受限；长尾场景发生概率极低，人工采集存在安全与合规障碍，标注难度大，导致常规场景数据充足而极端场景数据匮乏。类人决策能力不足体现在模型缺乏显式认知机制与伦理社会规范先验，在安全关键场景下难以实现符合人类直觉的判断与交互。可解释性局限导致公众信任度低、开发者诊断困难、事故后根因分析与
