超越基于规则的系统:通过多任务Transformer学习实现自主机器人配送的通用性助推决策机制

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》:Beyond rule-based systems: Generalized nudge decision-making for autonomous robo-delivery via multi-task transformer learning

【字体: 大 中 小 】 时间:2026年09月10日 来源:TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES 8.4

编辑推荐:

  •在最早公开记录的数据驱动式机器人配送助推框架中,该框架已经部署了超过500万公里。•自动助推数据管道生成了一个时空平衡的数据集,包含1.28亿个场景样本。•场景编码器和多头解码器共同学习多障碍物助推决策和多模态轨迹。•实现了99.9%的决策准确率、1.729米的轨迹ADE、3.

  •在最早公开记录的数据驱动式机器人配送助推框架中,该框架已经部署了超过500万公里。•自动助推数据管道生成了一个时空平衡的数据集,包含1.28亿个场景样本。•场景编码器和多头解码器共同学习多障碍物助推决策和多模态轨迹。•实现了99.9%的决策准确率、1.729米的轨迹ADE、3.1毫秒的延迟,以及相比基于规则的方法高出13.55%的相对性能。

1. 引言
自动驾驶车辆(AVs)作为智能交通系统中的变革性技术,具有潜力在多个领域带来革命性变化,例如机器人出租车运营(Qi等,2025年)、自主清洁(Kang等,2025年)和无人采矿运输(Tian等,2024年)。在这些应用中,自动驾驶配送车辆(ADVs)在提高最后一公里配送效率方面显示出巨大潜力(Ayyildiz和Erdogan,2024年;De Maio等,2024年)。尽管对乘客AVs的关注度很高(Duan等,2024b),但针对自动驾驶机器人配送系统的定制需求仍然缺乏探索,这为创新提供了关键机会(Lemardelé等,2023年)。
助推指的是自动驾驶车辆围绕静止交通参与者进行侧向绕行行为,这是运动规划文献中的一个成熟概念(Fan等,2018年)。这种行为是AV决策中的一个关键但研究不足的组成部分,尤其是对于经常在狭窄辅助车道上运行且存在大量静态障碍物的ADVs而言(González等,2015年)。这需要帧级精确的场景理解能力,以持续评估和执行精确的侧向操作,从而为后续规划模块奠定坚实的基础;否则,可能会导致从配送延误、交通堵塞到潜在的安全风险等一系列问题(Zhang等,2022年)。尽管其重要性显而易见,但在ADV社区中,助推决策尚未得到系统的关注。目前的方法大多将其整合在基于规则的框架中,但这些框架难以为连续状态-动作空间和高维时空特征制定完美的规则(Wang等,2023年),如图1所示。此外,现有的专家系统缺乏持续的优化能力,导致边际成本较高,如图2所示。相比之下,数据驱动方法提供了一种有前景的途径(Duan等,2024a),通过直接从演示中学习决策边界(Duan等,2025年;Zhao等,2025年),从而提高自动驾驶机器人配送系统的泛化能力和极限性能。

下载:下载高分辨率图片(490KB)
下载:下载全尺寸图片

图1. 基于规则的助推决策方法。每个障碍物决策都需要处理高维连续特征,而专家规则只能通过手动提取部分特征来进行投票/聚类。即使使用简化的低维离散特征组合,基于规则的方法(灰色)也难以准确逼近理想的决策边界(绿色)。

下载:下载高分辨率图片(835KB)
下载:下载全尺寸图片

图2. 专家系统在助推决策中的失败模式。(a) 助推:车辆需要通过穿过实线来绕行静止的卡车,类似于白色汽车的特殊行为,同时还要监测后方交通。(b) 排队:车辆应在排队货车后面排队,以防止拥堵和碰撞,并特别注意骑自行车者和行人。

尽管数据驱动方法在提高ADVs的助推决策方面具有潜力,但其实际应用仍面临重大挑战(Chen等,2024a)。当前的数据驱动AV解决方案主要采用两种架构:端到端(E2E)学习和模块化学习系统。E2E方法最近引起了广泛关注(Chen等,2024b;Hu等,2023年;Hwang等,2024年)。开发有效的数据驱动助推系统基本上依赖于三个关键支柱:计算资源、数据质量和算法设计。由于实际应用中的计算资源通常受到限制,后两者变得至关重要。现有的AV数据集(Caesar等,2020年;Sun等,2020年;Wilson等,2023年)主要集中在动态城市环境中的轨迹预测或规划上,与ADVs的助推需求存在明显不匹配。首先,它们的场景组成强调与动态交通参与者的主路互动,导致缺乏足够的助推场景数据。其次,它们缺乏助推行为的明确真实标签(GT),这是训练助推模型的前提条件。第三,地理偏见仍然存在,超过90%的样本来自西方城市布局,无法充分代表我们将在其中部署的中国混合交通环境。

从算法角度来看,数据驱动的助推系统面临模型训练设计和评估的双重挑战。尽管编码器-解码器架构在一般AV规划任务中取得了显著的成功(Nayakanti等,2023年),但在应用于助推决策时显示出明显的局限性。大多数现有实现使用通用特征处理,而没有与助推相关的特征工程,并且通常缺乏准确意图推断所需的历史上下文整合。此外,仅依赖轨迹回归作为连续空间学习任务引入了不必要的复杂性,而缺乏决策分类输出限制了模型的潜力。最后,当前的评估方法侧重于开环模型级别的指标,忽略了场景理解能力(Li等,2024年)。

为了解决基于规则方法的局限性,本研究提出了一种新颖的数据驱动助推决策框架,专为ADVs设计。本工作的贡献和新颖之处总结如下:
1. 数据驱动的助推决策框架:据我们所知,这项工作是首批公开记录的数据驱动助推决策框架之一,涵盖了数据生成、算法设计和评估。与回归自我轨迹的端到端规划器不同,我们将助推定义为针对每个障碍物的决策分类任务,并指定方向;这种以决策为中心的框架设计,而非特定的网络架构,构成了本研究的核心贡献。该框架已经在超过500万公里的实际操作中得到部署和评估。

2. 系统化的助推样本生成方法:我们开发了一种多步骤的助推样本生成方法,包括数据挖掘、提取和自动标注,从而生成了一个包含1.28亿个场景样本的时空平衡的助推特定数据集。这个庞大高质量的数据集为模型性能和泛化能力奠定了坚实的基础。

3. 新颖的助推算法系统:我们开发了一个变压器架构,其中包括一个提取全面时空特征的场景编码器和一个用于多障碍物决策和多模态轨迹生成的多头解码器。通过评估,我们的模型能够在复杂交通场景中处理高维连续决策空间,实现了99.9%的决策平均精度。通过与通用学习器和适配的已发表规划器的对照测试,在相同的数据分割下,证明了这些改进来自于所提出的设计,而不仅仅是数据规模。

本文的其余部分组织如下:第2节全面回顾了数据驱动模型训练系统的相关工作。第3节介绍了我们提出的方法论和详细实施方法。第4节展示了实验结果和比较分析。最后,第5节总结了本文的讨论内容及未来研究方向。

2. 相关工作
本节介绍了数据驱动自动驾驶(AV)决策和规划系统的核心组成部分的相关工作:数据集收集和预处理,以及数据驱动决策和规划算法(Yang等,2025年)。目前,针对自动驾驶机器人配送系统的针对性研究仍然相对较少。

2.1. 数据集收集和预处理方法
大规模和高质量的数据集是模型性能的基石,其对自动驾驶的重要性不容低估(Li等,2023年)。自动驾驶算法的进步与全面数据集的迭代发展密切相关。每个数据集都有独特的特征,有助于AV研究的不同方面。Argoverse(Wilson等,2023年)包含详细的HD地图和城市驾驶的广泛运动预测。nuScenes(Caesar等,2020年)提供了包含33个对象类别的3D边界框注释的多模态传感器数据。Open DV(Yang等,2024年)强调传感器校准数据和环境感知,而Waymo Open Motion Dataset(Sun等,2020年)因其大规模轨迹注释而脱颖而出,有助于长期运动预测任务。这些数据集的数据预处理通常包括传感器融合、基本轨迹提取和地图特征工程(Li等,2023年),但在时间深度和针对复杂ADV场景的助推特定特征设计方面存在不足。然而,它们的主要关注点在于乘客车辆自动驾驶训练。这些数据集中的大多数样本来自动态的城市主干道,涉及移动中的车辆,缺乏狭窄车道环境和混合交通互动。这导致数据同质性问题严重,并限制了它们对ADVs系统适用性。此外,静止障碍物的比例相对较低——nuScenes中只有30.66%的车辆是静止的——这进一步凸显了它们在训练ADVs所需模型方面的不足。

2.2. 数据驱动决策和规划算法
当前的数据驱动自动驾驶范式可以分为三种方法:模块化、集成化和端到端(E2E)。模块化方法将系统分解为独立训练的组件,如定位、预测和控制,通常使用MLP或CNN。虽然实用且广泛使用,但在数据驱动研究中受到的关注相对有限。集成化方法允许关键模块的联合优化,同时保持系统可靠性,例如IDC(Guan等,2022年),尽管在复杂场景中仍面临能力限制。E2E方法将整个感知-规划流程统一到一个网络中。值得注意的学术实现包括VADv2(Chen等,2024b)和UniAD(Hu等,2023年),而行业领导者则开发了专有系统,如特斯拉的FSD和Waymo的EMMA(Hwang等,2024年)。尽管现有的E2E框架仍不足以满足ADVs的L4级配送任务,但它们的编码器-解码器架构在处理复杂驾驶场景方面显示出有效性。这为数据驱动的助推决策提供了有前景的基础,尽管仍需针对助推进行架构修改。

最近基于学习的规划器在标准化基准测试上进一步推动了闭环规划的发展:基于规则的PDM(Dauner等,2023年)、基于模仿的PLUTO(Cheng等,2024年)和Hydra-MDP中的多目标蒸馏(Li等,2024年),以及基于注意力的运动预测器,如Wayformer(Nayakanti等,2023年)和MTR(Shi等,2022年)。这些方法主要回归完整的自我轨迹,并在开放道路、动态交通基准测试上进行了评估。相比之下,我们的工作针对的是在机器人配送典型狭窄车道和密集静态障碍物下的每个障碍物助推决策,这激发了此处采用的以决策为中心的设计,并使我们的范围与全轨迹规划区分开来。

3. 方法
本节介绍了一种新颖的数据驱动框架,用于自动驾驶机器人配送系统的助推决策。我们的方法包括三个组成部分:(1)为助推任务量身定制的系统化数据生成流程;(2)结合模型架构和训练设计的先进数据驱动助推算法;以及(3)全面的评估协议。我们详细介绍了从挖掘运营数据到在真实世界场景中部署验证模型的端到端过程。

3.1. 数据生成流程
高效处理ADV运营数据是实现我们数据驱动方法并具备强泛化能力的关键。我们的流程通过两个步骤自动生成大量高质量的训练数据:场景挖掘和降采样以构建切片级数据集,然后进行预处理和自动标注以提取样本级数据,并在整个过程中严格保证质量。我们获得了包含1.28亿个场景样本的时空均匀助推场景数据集,覆盖了2250小时的时间,为模型性能和泛化能力提供了坚实的基础。

下载:下载高分辨率图片(202KB)
下载:下载全尺寸图片

图3. 不同维度中的助推训练数据分布

3.1.1. 数据挖掘和降采样
考虑到运营需求和数据质量,我们选择了两个具有代表性的中国城市:北京和深圳。在中国人口最多的五个城市中,这些城市因其高自动驾驶需求、复杂的交通条件和频繁的车辆互动而被特别挑选出来,代表了最具挑战性的ADV运营场景。我们使用精确的挖掘机制构建了助推特定数据集,保留了在驾驶区域内 ego车辆前方60米纵向和7米横向范围内存在有效静止障碍物(车辆、骑自行车者或行人)的助推切片。此外,我们排除了ego车辆长时间静止的数据段,以防止速度分布偏差。在106天内,我们的每日挖掘处理了超过14万片输入数据,代表了超过1000小时的驾驶时间和1万公里的行驶距离,其中有效切片不超过4000片。这个挖掘过程总共产生了大约27万片有效切片。为了解决样本分布不均和数据同质性问题,我们进行了时间(天-小时)和空间(区域-街道)降采样,以确保北京和深圳之间1:1的平衡分布。最终的切片级数据集包含144,639片,覆盖了2250小时的驾驶时间和大约3万公里的行驶距离。

3.1.2. 预处理和自动标注
净化后的数据集经过预处理流程,将多模态原始数据转换为易于存储的向量数据。对于每个样本,流程提取了覆盖40帧(四秒)的特征,包括本车、障碍物和交通信号灯,以及当前时刻的道路图拓扑结构。标签提取同样重要,我们提取了本车的轨迹及其模式,以及每个障碍物的“推进”或“排队”标签。我们开发了一个自动标记机器来提取推进决策标签,如图4所示,使用本车的未来真实轨迹(GT)及其与静止障碍物的相对位置。当GT轨迹在纵向上超出障碍物的当前帧位置,并且与障碍物多边形的横向距离大于??lat=0.5米时,交互被归类为“推进”;否则,它们被归类为“排队”。这里,τlat表示轨迹到决策转换中使用的横向几何阈值,与第3.2.2节中定义的决策头的概率阈值τcls不同。此外,本车轨迹的模式是通过比较最后一帧的横向位置与当前位置来确定的。选择4秒的观察窗口是为了覆盖推断障碍物意图所需的历史数据,例如瞬时制动或临时停车。下载:下载高分辨率图像(443KB)下载:下载全尺寸图像图4. 自动标记机器。系统自动提取障碍物推进决策标签、本车GT轨迹和相应的锚点。预处理将每个保留的切片扩展为以时间为中心的模型输入。在本文中,一个切片表示一个连续的挖掘场景段,是一个无泄漏的分割单元;一个场景样本表示一个以时间为中心的模型输入;一个障碍物级别的决策实例表示场景样本中的一个有效障碍物标签。144,639个精心策划的切片产生了128,027,783个场景样本和959,734,104个障碍物级别的决策实例,因为每个障碍物密集的场景提供了多个标签。表1将这些三个单位映射到模型开发的分割中。与手动注释(每人每天3000-3500个样本,限于本车视图数据)相比,我们的自动标记系统在72小时内生成了大约1.28亿个场景样本。表1. 模型开发数据集中切片级、场景级和障碍物级别的数量映射。数据集分割# 切片数量# 场景样本数量# 障碍物级别实例数量完整策划的数据集144,639128,027,783959,734,104训练分割(80%)115,682102,288,167767,824,276保留分割(20%)28,95725,739,616191,909,82880/20的分割是在切片级别进行的,分割之间没有切片共享。3.1.3. 样本质量保证为了确保标签的准确性,我们实施了一个多阶段的质量控制机制,包括三个过滤标准:几何一致性、时间一致性和物理可行性。具体来说,几何一致性验证所有轨迹点都位于障碍物多边形的同一侧,排除振荡轨迹。时间一致性确保推进方向在轨迹中途不会改变,过滤掉异常的驾驶行为。物理可行性验证轨迹曲率和加速度保持在合理范围内,消除数据噪声。违反这些标准的样本被丢弃。此外,除了自动化过滤之外,人类评审员还迭代检查样本并提供反馈,以不断改进数据导出逻辑。对5000个随机抽取的实例进行手动审核后,最终的标签准确率为99.78%,其95%的Wilson置信区间为99.61%至99.88%。剩余的错误主要源于上游感知基础设施问题,如障碍物识别错误,而不是自动标记设计缺陷。3.2. 数据驱动的推进算法我们的模型采用了一种针对推进决策制定的编码器-解码器架构。场景编码器处理高维连续的特征输入并进行信息融合。多头解码器在关键特征查询的指导下,生成多模态轨迹规划和障碍物推进决策。为了促进高效学习,每个解码器头都设计有相应的损失函数。3.2.1. 场景编码器我们的编码器处理五个不同的输入流,代表驾驶环境,每个流的结构为[B, S, T, D],其中B是批量大小,S表示空间范围,T表示时间维度,D是特征维度。这些输入包括本车状态、交互式障碍物、交通信号灯、静态障碍物和道路图段。如图5的编码器部分所示,每个流通过一个专用的MLP将输入投影到相同的隐藏空间中,同时保持它们的结构特性。下载:下载高分辨率图像(346KB)下载:下载全尺寸图像图5. 自动驾驶送货的推进决策模型,包括场景编码器和推进解码器。场景编码器完成场景表示并执行特征融合。推进解码器采用多头架构,包括决策头、锚点头和轨迹头。为了提高效率,我们应用时空变换和特征融合。具有时间历史的特征经过空间扁平化和关键帧采样以减少计算复杂性,同时保留关键信息,而其他特征则直接投影到紧凑的表示中。处理后的特征表示随后被连接到一个具有6层、6个注意力头和384维嵌入的变压器中,使模型能够有效捕捉环境元素之间的交互。3.2.2. 推进解码器生成静态障碍物的推进决策是其核心目标。我们不是直接分类绕行方向,而是将任务分解为几个相互关联的子任务,以更好地捕捉场景交互信息。特别是,解码器由三个专用组件组成:决策头、锚点头和轨迹头,如图5的解码器部分所示。整个过程模仿人类决策:首先确定是否需要推进,然后通过适当的轨迹规划选择方向。决策头在接收到的场景编码嵌入和交互式障碍物特征之间进行交叉注意力计算,重点是灯光和高度,以增强意图推断。然后为每个障碍物生成一个概率,指示推进的必要性,进一步通过分类阈值τcls二值化为推进或排队决策。同时,锚点头为三种可能的轨迹模式生成概率——左、中和右——代表可能的规划路径。最后,轨迹头产生三个不同的轨迹预测,对应于这些模式。每个轨迹由80个位置点组成,覆盖8秒的时间范围。8秒的时间范围遵循Waymo Open Motion Dataset(Ettinger等人,2021年)建立的共同长时序预测窗口,并在后续的运动预测和规划工作中得到广泛应用(Nayakanti等人,2023年;Philion等人,2024年;Seff等人,2023年;Shi等人,2022年;Varadarajan等人,2022年),这个时间范围足够长,可以捕捉代理的长期意图而不仅仅是其即时运动。通过整合决策和轨迹信息,我们得出推进方向:当决策头指示需要推进时,具有最高概率的轨迹模式决定了最佳的推进方向。与常见的多模态轨迹模型(Li等人,2024年)一致,我们只输出概率最高的轨迹,以确保模型部署时的实时性能。3.2.3. 损失设计为了监督推进解码器的多头输出,我们采用了复合加权损失函数来处理三个头:(1)?=??d??decision+??a??anchor+??t??trajectory,其中??d=10.0,??a=1.0,??t=0.01分别是决策头、锚点头和轨迹头的权重。这些权重平衡了任务优先级和三个损失项的数值尺度;它们的粗略敏感性在表6中进行了评估。对于决策头,我们采用加权二元交叉熵(W-BCE)损失来解决推进决策训练中的类别不平衡问题:(2)?decision=?W-BCE=?1?????∑??=1??[?????log?(?????)+(1?????)?log?(1??????)],其中??={|{??:????=0}||{??:????=1}|,如果????=1则为1,否则为0;N表示有效静止车辆的数量,yi表示基于GT的自动标记(0/1),?????表示推进概率。为了解决类别不平衡问题,我们引入了基于样本数量的类别权重ω,以防止过拟合并提高模型性能。锚点头使用标签平滑交叉熵(LSCE):(3)?anchor=?LSCE=???∑??=1((1???)·????·log?(?????)+????·log?(?????)),其中??=3,yi是one-hot编码的锚点标签,?????是预测概率,??=0.1是平滑参数。标签平滑防止模型对预测过于自信,提高其处理模糊情况的能力。对于轨迹头,我们采用平滑L1损失来平衡精确性和鲁棒性:(4)?trajectory=?SmoothL1=????∑??=1{12?(??????????)?2 if|???????????|<1 else,其中NT等于80,pi是GT位置,?????是预测位置。这个损失函数结合了L2损失对小错误的稳定性和L1损失对较大偏差的鲁棒性,非常适合轨迹预测。3.3. 评估方法目前的评估方法主要关注轨迹的开环和闭环性能(Caesar等人,2021年;Sun等人,2020年)。然而,针对推进能力的专门评估方法仍然不发达。为了填补这一空白,我们提出了一种三级评估方法,旨在系统地、高效地验证不同层面的推进决策:(1)模型级评估,用于评估开环性能;(2)基于仿真的评估,用于在具有挑战性的场景中测试闭环行为;(3)真实世界评估,用于验证部署的可行性。3.3.1. 模型级评估模型级评估衡量模型的开环性能。评估集是从同一流程输出中以80/20的比例分割出来的,经过严格的分片级划分以防止标签泄漏。对于轨迹头,我们评估Top1ADE和Top1FDE以及PDMS风格的子指标(Dauner等人,2024年),涵盖安全、舒适性和交通规则遵守情况。此外,我们还测量了训练计算效率和推理延迟,这对于实时部署至关重要。3.3.2. 基于仿真的评估基于仿真的评估作为一个中间验证步骤,在真实世界部署之前评估模型在具有挑战性的场景中的闭环性能。我们开发了两个不同的场景集合来验证我们模型能力的不同方面:困难案例集:我们从历史失败案例中提取了952个场景切片,总计46.8公里的驾驶数据。这些场景代表了在工业日常运营中发现的具有挑战性的实例,并经过了处理以防止数据泄漏问题。这组数据作为基准,用于评估系统在历史复杂驾驶情况下的性能。泛化测试集:泛化测试集包括302个场景切片,分为两个互补的部分。前40个切片由专家注释者从基于规则的系统失败的情况下手动验证和选择,以探测超出基于规则决策边界的泛化能力。剩余的262个切片来自深圳市南山區,该区域完全不在模型训练的观测范围内,构成了用于评估跨区域迁移的OOD组件。这两组数据都使用记录回放方法在闭环控制下进行评估。唯一的指标是成功率,由预定义的验证器量化,包括“必需通过的区域”、“限制区域”、“超车车辆”、“紧急刹车”和“碰撞”。3.3.3. 真实世界评估真实世界评估提供了对模型性能最可靠的验证,为迭代改进提供了关键的基础。我们关注系统在部署模型时的实际行为,这直接反映了系统在多样且不受控制的环境中的可靠性和性能。4. 实验结果在本节中,我们通过模型级分析、基于仿真的测试和真实世界评估,对训练好的模型进行了全面评估,详见第3.3节。训练参数和训练细节列在表2中。表2. 模型参数和训练细节。组件场景编码器推进解码器优化器AdamWAdamW学习率0.00010.0004批量大小96128GPUNvidia A800Nvidia A800总GPU使用时间7936627迭代次数54推理时间2.2ms0.9ms参数大小11.59M4.11M4.1. 整体性能对于整个模型,我们首先在RTX 2080 GPU上验证了FP16模型的推理延迟,平均运行时间为3.1毫秒(编码器2.2毫秒,解码器0.9毫秒)。相比之下,基于规则的方法由于内部迭代搜索过程需要33.5毫秒。接下来,我们通过AP评估了分类性能。我们的模型表现出色,决策AP达到了0.999,锚点AP达到了0.959。此外,对于轨迹输出,我们测量了8秒规划轨迹下的Top1ADE和Top1FDE,分别为1.729米和4.423米。关于基于仿真的测试,我们的模型在困难案例集中的通过率为69.54%,在泛化测试集中的通过率为84.77%,具体细节在第4.2节中提供了说明。此外,它参与了超过500万公里的自主配送任务。视频https://youtu.be/uQq7vpfalgA展示了一个常规的自主配送任务,而累积的生产MPCI在第4.2.4节中报告。4.2.2. 对比分析为了展示我们方法的优势,我们将我们的模型与基于规则的系统、五种基于学习的方法和我们模型的四种消融变体进行了比较:•基于规则的:一种基于手工制定的规则进行决策和轨迹规划的传统方法。•MLP:一个在相同扁平化输入特征上运行的多层感知器,作为最小的基于学习的基线。•LSTM:一个在产生推进/排队决策之前编码时间特征序列的循环基线。•Vanilla Transformer:一个没有提出的决策中心头或强调的关键特征查询的标准Transformer。•VADv2(Chen等人,2024b):一个代表性的端到端轨迹规划器。由于其原生输出是一个自我轨迹,我们通过应用我们的自动标记技术(第3.1.2节)对其预测轨迹进行修改,以得出推动/排队决策和方向。•GoalFlow(Xing等人,2025年):一个代表性的端到端轨迹规划器,通过与VADv2相同的方式适应推动任务。•消融A:在数据层面,我们在一个没有均匀时空分布和均匀化缓解措施的数据集上训练了模型。差异在图6中展示。下载:下载高分辨率图片(273KB)下载:下载全尺寸图片图6. 数据集的时空比较:我们的与消融A的比较。•消融B:在数据层面,我们仅使用自我视图数据而不是所有视图数据来训练模型,这在第3.1.2节中提到。•消融C:在模型层面,我们只使用一个方向头,为每个障碍物输出绕行决策和方向(左、跟随、右),而不依赖于轨迹和锚点头。•消融D:在模型层面,我们没有向解码器提供强调的关键特征查询(障碍物的灯光和高度)。4.2.1. 模型级比较表3展示了所有数据驱动方法之间关键模型级指标的比较。结果表明,我们在数据分布、模型架构和关键特征输入方面的方法是有效且互补的,一致地在决策制定和轨迹规划指标上超过或等于消融变体。残差误差主要归因于两个因素:(1)在严重遮挡的场景中信息不足,需要多步骤探索行为,但这超出了当前单步决策范式;(2)如第3.1.3节所讨论的,残余的上游感知噪声。这两个方面都为未来的改进指明了具体的方向。表3. 不同模型在模型级评估上的比较。每种任务的最佳性能以粗体显示。方法决策指标1锚点指标轨迹指标2空单元APPrec.Rec.APPrec.Rec.ADEFDENCCOMFDACPDMS我们的0.9990.9980.9870.9590.9210.9091.7294.42395.197.388.879.9MLP0.9010.9011.000–––––––––LSTM0.9010.9011.000–––––––––Vanilla Transformer0.9870.9820.968–––––––––VADv2?–0.9550.940–––1.8084.58591.996.284.773.5GoalFlow?–0.9560.929–––1.8144.58690.493.385.173.0消融A0.9970.9940.9710.9490.9120.9021.7324.43193.096.986.175.8消融B0.9980.9970.9860.9570.9190.9071.7464.47693.997.187.377.6消融C0.9900.9870.987–––––––––消融D0.9980.9980.9860.9570.9190.9051.7584.49193.697.886.877.0推动是正类。保留的分割包含大约100:11的推动/排队实例。2 基于前1个预测轨迹计算。ADE/FDE以米为单位。NC:无碰撞率;COMF:舒适度得分;DAC:可驾驶区域合规性;PDMS:以规划为导向的驾驶指标得分。? 对于VADv2和GoalFlow,精确度和召回率是从预测轨迹中得出的;没有报告锚点指标。决策指标使用??lat=0.5米;表4评估阈值敏感性。如表4所示,在0.3–0.6米的范围内,VADv2的F1值范围从0.9664到0.9682,GoalFlow的范围从0.9552到0.9564;两个基线在0.7米时下降。我们保留了预先指定的0.5米阈值,因为它位于这个稳定范围内。所提出的模型被排除在外,因为其分类头直接产生决策。表4. 轨迹派生决策指标对τlat的敏感性,在5,000个实例的手动审核集上。τlat(米)VADv2GoalFlow空单元精确度召回率F1精确度召回率F10.30.95830.97460.96640.94930.96120.95520.40.96250.97190.96720.95440.95790.95610.50.96770.96830.96800.96060.95230.95640.60.97300.96340.96820.96580.94560.95560.70.98140.93890.95970.97500.91210.9425推动是正类;人类参考决策在各个阈值上是固定的。鉴于决策任务的类别不平衡,推动与排队的比例大约为100:11,我们还在表5中报告了每个类别的精确度、召回率和F1值。对于决策头,AP总结了其连续置信度分数上的精确度-召回率曲线,并且不依赖于单一的操作阈值,而每个类别的指标明确显示了在少数排队类别上的性能。队列类别的F1值为0.934。图7显示了决策头的PR曲线以及可靠性图表,其预期的校准误差(ECE)为0.009,表明决策头校准得很好。分类阈值τcls设置为验证分割上的F1最优操作点,大约为0.5。表5. 每个类别的分类指标和决策头的校准。类别精确度召回率F1#实例ECENudge0.9980.9870.992172,861,9450.009Queue0.8890.9830.93419,047,883下载:下载高分辨率图片(286KB)下载:下载全尺寸图片图7. 决策头的精确度-召回率曲线和可靠性图表(校准)。表6提供了一个数量级的压力测试,而不是密集搜索。决策AP保持在[0.996,0.999]范围内,而PDMS的范围从64.3到79.9。在测试的配置中,(10,1,0.01)匹配了最高的决策AP,并产生了最高的PDMS,提供了最佳的观察到的任务 trade-off;该测试不是彻底的优化。表6. 模型对损失权重(ωd, ωa, ωt)的粗略敏感性。(ωd, ωa, ωt)决策AP锚点APADEPDMS(10,1,0.01)(我们的)0.9990.9591.72979.9(1,1,0.01)0.9960.9561.73675.8(100,1,0.01)0.9990.9561.77364.3(10,1,0.1)0.9980.9481.74474.44.2.2. 基于模拟的比较我们在第3.3.2节中建立的难点集合中对所有方法进行了全面的评估,我们提出的方法取得了最高的通过率69.54%,显著优于基于规则的方法(61.24%)、消融A(62.50%)、消融B(67.02%)和消融C(61.76%)。每个通过率都附带了95%的Wilson置信区间,并通过McNemar的精确测试评估了与每个比较方法的成对差异。如表7所示,我们的方法显著优于基于规则的系统和所有四种消融变体。此外,我们还提取了典型的比较差异,这些差异在图8中展示。有关不同方法的特定决策,请参见表8。实验结果表明,我们改进的设计,包括数据处理和模型架构的改进,是可行且有效的。表7. 在难点集合上的成对统计显著性(??=952),通过McNemar的双侧精确测试进行评估。对于每个比较,??+表示我们的方法通过但竞争方法失败的情况,而???表示相反的情况;95%的CI是相应通过率的Wilson区间。比较通过率(%)95% CI??+???McNemar pSig.我们的(参考)69.54[66.5, 72.4]––––与基于规则的方法61.24[58.1, 64.3]90111.4×10?16?与消融A62.50[59.4, 65.5]79123.0×10?13?与消融B67.02[64.0, 69.9]38141.2×10?3?与消融C61.76[58.6, 64.8]8393.9×10?16?与消融D68.17[65.2, 71.1]2071.9×10?2?下载:下载高分辨率图片(1MB)下载:下载全尺寸图片图8. 在复杂城市场景中基于模拟的模型行为验证。左:现实世界驾驶环境;右:我们模拟器中的相应模型响应。(a) 尽管有盲点和不法车辆,仍然保持排队,防止拥堵;(b) 尽管后方车辆有刹车灯,仍然进行左转推动;(c) 交通灯变绿后在有盲区限制的情况下进行实线交叉推动;(d) 在混合信号指示下在静止公交车后方正确排队。表8. 不同方法的决策和方向输出。案例我们的基于规则的方法消融A消融B消融C消融D决策排队?推动?排队?排队?排队?排队?排队?方向跟随?左?跟随?跟随?跟随?跟随?跟随?跟随?d决策推动?排队?排队?排队?排队?排队?方向左?跟随?跟随?跟随?跟随?跟随?跟随?c决策推动?排队?排队?排队?推动?方向左?跟随?跟随?跟随?跟随?跟随?跟随?失败案例分析:在290个剩余失败中,282个(97.24%)归因于模型或决策限制,3个(1.03%)归因于上游输入错误,5个(1.72%)归因于评估协议误差。这些类别包括严重遮挡的场景、错误的障碍物计数或姿态,以及在非反应性日志回放下的虚假碰撞。协议误差占所有952个难点案例的0.53%;将它们视为失败不会改变报告的通过率和统计比较。图9展示了代表性的模型和感知相关失败案例。下载:下载高分辨率图片(607KB)下载:下载全尺寸图片图9. 在难点集合上的代表性失败案例。(a) 被左侧和前方的公交车夹住,右侧是非机动车车道,模型无法观察交通信号或右侧的自行车流量,因此选择向右而不是排队。(b) 前方卡车过长的悬挂物破坏了感知到的障碍物计数和姿态,导致错误的推动。泛化测试集:如表9所示,我们的模型在302个案例中通过了256个(84.77%,95% Wilson CI [80.3, 88.4]),而消融A通过了185个(61.26%,95% CI [55.7, 66.6])。配对比较显示??+=91,???=20,精确的McNemar ??=5.25×10?12。在地理上保留的南山子集上,我们的模型通过了216个案例(82.44%,95% CI [77.4, 86.6]),支持区域级转移。此外,图10展示了一个典型的长尾场景,其中前方的厢式货车在红灯时打开了危险灯,可能是意外触发的。基于规则的方法倾向于将其误解为静止障碍物并向前推动,而我们的模型则正确地在它后面排队。4.2.3. 现实世界分析为了在实际部署场景中验证我们的模型,我们分析了一个代表性的实际案例研究,如图11所示。这个案例研究展示了模型在复杂城市环境中的基本性能。在图11a中,自我车辆进入了一个双车道城市场景。随后,在图11b中,由于相邻车道有高速车辆接近,自我车辆选择在当前车道排队以确保安全。当条件在图11c中变得有利时,自我车辆决定推动刹车的白色汽车以保持交付效率。然后在图11d中跟随一个自行车手,如图11e所示,之后又对一辆停着的汽车进行了另一次推动。下载:下载高分辨率图片(635KB)下载:下载全尺寸图片图11. 现实世界案例研究,展示了模型在复杂双车道场景中的性能。自我车辆在允许直行的双车道道路上操作,左侧车道允许U形转弯。序列从自我车辆位于左侧车道后方开始。我们报告了与推动相关的平均每次关键干预的公里数(MPCI),定义为总操作距离除以去重后的关键干预次数。在七个不同的操作期间,学习系统累计了19,766.43公里,共176次干预(112.3公里MPCI),而基于规则的系统累计了14,250.28公里,共466次干预(30.6公里MPCI)。其他地方报告的500万公里数字表示累积的生命周期部署,而不是这两个观察窗口。由于部署是顺序进行的,因此比较被解释为观察证据。5. 结论本文提出了一种新颖的数据驱动推动决策框架,用于自主送餐系统,解决了基于规则的方法在高维、连续状态-动作空间中的限制。我们开发了一个系统化的数据生成流程,生成了1.28亿个场景样本的均匀时空平衡数据集,并设计了一个变压器架构,该架构包括一个场景编码器用于全面的时空特征提取和一个多头解码器用于联合多障碍物决策和多模态轨迹生成。我们的方法实现了99.9%的决策平均精度、1.729米的平均轨迹位移误差和3.1毫秒的推理延迟,与基于规则的方法相比,在基于模拟的评估中显示出13.55%的相对改进。该模型在保留的南山评估中展示了区域级转移,并在其相应的常见评估集上优于报告的基准;其实际部署经验覆盖了500万公里。这些结果证实,我们的数据驱动框架为复杂城市环境中的推动决策提供了一个更稳健和精确的解决方案,为自主送餐系统的下游规划模块奠定了坚实的基础。cRediT作者贡献声明杨关:写作——审阅与编辑、监督、软件、项目管理、方法论、调查、资金获取、形式分析、概念化。林铭晓:写作——审阅与编辑、原始草稿写作、可视化、验证、方法论、调查、形式分析、数据策划、概念化。黄白:写作——审阅与编辑。袁光远:写作——审阅与编辑。李晓:监督、软件、资源、项目管理、调查、资金获取。王乃正:软件、资源、项目管理、调查、资金获取。段敬良:写作——审阅与编辑、监督、项目管理、方法论、形式分析。李胜波:项目管理、调查、资金获取。杨关|林铭晓|黄白|袁光远|李晓|王乃正|段敬良|李胜波
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号