《Pattern Recognition》:CausalManifoldNet: Reachability-guided sparse interaction and road-aligned modeling for joint motion forecasting
编辑推荐:
•道路流形编码统一了异构的公共驾驶地图。•可达性引导的稀疏注意力机制增强了密集场景的推理能力。•联合场景级模式提高了准确性和社交一致性。引言驾驶场景预测根据观察到的轨迹、地图上下文和可选的交通控制状态来估计多个道路用户的未来状态。它支持下游规划、风险评估和安全评估[1]。最近的进
- •
道路流形编码统一了异构的公共驾驶地图。
- •
可达性引导的稀疏注意力机制增强了密集场景的推理能力。
- •
联合场景级模式提高了准确性和社交一致性。
引言
驾驶场景预测根据观察到的轨迹、地图上下文和可选的交通控制状态来估计多个道路用户的未来状态。它支持下游规划、风险评估和安全评估[1]。最近的进展利用了多模态特征对齐[2]、交互感知架构[3]和行为表示[4]。然而,运动预测并不仅仅是坐标回归问题。可行的运动受到定向道路几何的限制,交互通过空间和时间上可达的冲突发生,而且可能存在多个共同的结果。因此,道路表示、交互建模和多模态解码应该共同考虑[5]。
现有的基于图和Transformer的模型通常将代理历史和矢量化地图编码在笛卡尔坐标中[6],有时还结合了鸟瞰图特征[7]。尽管笛卡尔表示直接描述了运动,但它们并没有明确捕捉纵向进度、横向偏移、方向对齐、曲率或拓扑路线连接性。模型必须从数据中推断这些关系,这在弯曲的道路、交叉路口以及空间相邻但在拓扑上不连贯的车道之间尤其困难。相对于道路的特征提供了这样的结构信息,同时保留了底层的笛卡尔几何[8]。此外,公共数据集在代理类别、地图原语、拓扑、语义注释和信号可用性方面存在差异。现有研究通过弱监督或自我监督[9]、合成到真实的转移[10]以及一致的轨迹表示[11]来处理相关的数据依赖性。关于遮挡鲁棒性和特征一致性的研究进一步强调了处理不完整观察结果的必要性[12]、[13]。因此,一种通用的预测模型需要一个规范化的表示,该表示能够适应异构输入,同时保留与运动相关的道路几何和拓扑。
第二个挑战是识别相关的交互。让路、合并、刹车和穿行取决于代理是否能够在相似的时间到达一个共同的车道或冲突区域,而不仅仅是它们当前的欧几里得距离[14]、[15]。全局注意力可以捕捉长距离的依赖性,但会增加复杂性,并允许在物理上不相关的实体之间交换信息。基于半径的图更高效,但它们可能会连接在附近不连贯道路上的代理,同时忽略了接近同一冲突区域的远距离代理。稀疏计算、可扩展的推理和自我图推理激励了更选择性的交互建模[16]、[17]、[18]。关于因果不变性和可扩展学习的相关工作同样强调了区分任务相关依赖性和无限制信息交换的必要性[19]、[20]、[21]。在这项工作中,“因果相关性”表示预测范围内潜在影响的操作性、基于物理的代理。当物理可达性、道路连通性、冲突重叠或到达时间兼容性允许时,场景元素会被保留下来以影响代理的未来运动。这一标准仅用于交互筛选,并不意味着因果发现、基于干预的推理或从观察数据中识别因果效应。
第三个挑战是联合多模态预测。路线选择和交互响应可能仍然无法解决,需要既多样又相互兼容的假设。独立解码的每个代理的模式可以实现低边际误差,但可能会产生矛盾的场景结果,例如同时占用冲突区域或不一致的让路决策。这一限制激发了所有目标代理共享的场景级假设。
为了解决这些挑战,我们提出了CausalManifoldNet,它集成了道路流形表示、有限视距交互选择和联合多模态解码。该模型仅使用公共预测基准中可用的代理历史、矢量地图和可选的交通控制状态,而不需要访问未来状态或数据集私有的地图接口。它预测概率性的场景级模式,每个模式都包含了所有目标代理的轨迹和不确定性估计。
阶段1:道路流形场景编码。 道路流形场景编码器(RMSE)将异构的代理、地图和信号输入转换为规范化的本地框架。当存在可靠的地图关联时,每个代理都被投影到一个类别兼容的道路原语上,以获得纵向进度、有符号的横向偏移、切向和法向速度以及方向对齐。这些相对于道路的变量与笛卡尔运动学、类别、物理尺寸和有效性指标结合在一起,然后进行时间编码。道路令牌保留了采样的几何形状、方向、曲率、宽度、语义和拓扑。缺失或不可靠的信号状态由有效性掩码和学习的未知状态嵌入表示。RMSE输出统一的代理、道路和信号令牌,以及构建图所需的几何锚点、连通性和有效性信息。
阶段2:可达性引导的稀疏交互。 可扩展的因果相关性交互运算符(SCIO)用有限视距邻域内的稀疏信息传递替代了无限制的注意力。对于受到车道限制的代理,SCIO扩展了沿可行路线的道路流形可达区域。对于受到弱车道限制的代理,它构建了类别依赖的欧几里得可达区域。代理-代理边根据可达区域距离、冲突重叠和估计的到达时间兼容性进行选择。代理-道路边取决于从道路锚点到可达区域的距离,而信号和道路-道路边则遵循地图关联和拓扑。
SCIO使用从可达性、距离和连通性派生的相对几何描述符和边先验,对代理、道路和信号令牌应用特定关系的注意力。每个令牌为每种关系类型保留了有限数量的邻居。通过高效的候选项检索和固定的邻域大小,信息传递成本与保留的场景令牌数量大致成线性关系。
阶段3:联合多模态场景解码。 联合多模态场景解码器(JMSD)定义了所有目标代理共享的场景级模式,而不是为每个代理分配独立的模式集。每个模式将全局场景表示与学习到的模式嵌入相结合,并接收一个场景级概率。基于模式的道路注意力允许不同的假设强调不同的可行路线。然后,在可达性引导的稀疏图上细化代理计划。共享的模式令牌和特定模式的消息传递为协调代理响应提供了共同的主题,尽管它们本身并不保证避免碰撞或遵守规则。
JMSD将细化的计划状态反复转换为未来轨迹。基于加速度的集成提供了名义上的运动学更新,而有界的位移残差捕获了与简化运动模型的偏差。解码器还预测方向演变和双变量位置不确定性,然后将输出转换回原始数据集坐标。
训练目标结合了场景级混合概率与回归和置信度监督,以找到最佳匹配的联合模式。当所需的注释可用时,方向一致性、地图一致性和碰撞一致性损失会惩罚方向错误、离道运动和交互代理之间的重叠。多样性损失减轻了模式崩溃,而可选的占用监督限制了预测的空间范围。缺失的输入和不可用的监督通过有效性掩码或零值损失权重来禁用。
主要贡献总结如下:
- 1.
我们引入了一种规范化的道路流形表示方法,它将笛卡尔动态与相对于车道? 运动结合起来,同时保留了处理异构公共预测数据集所需的几何形状、语义、拓扑、锚点和有效性信息。
- 2.
我们开发了一个有限视距交互运算符,根据物理可达性、道路连通性、冲突结构和到达时间兼容性构建有界的稀疏邻域,而不仅仅是欧几里得接近度。
- 3.
我们提出了一个联合解码器,所有目标代理都共享场景级模式。它集成了基于模式的道路注意力、模式内的稀疏细化、运动学残差展开和一致性感知训练,以表示多样且更协调的场景未来。
部分片段
相关工作
运动和地图表示。 运动预测已经从基于运动学模型的方法发展到基于循环网络、图神经网络[6]和Transformers[15]的数据驱动架构。基于Transformer的方法捕捉长距离的时间依赖性和交互,而地图编码器越来越多地使用矢量化的多段线和车道图来表示道路结构,而不是栅格化输入[22]。然而,大多数矢量地图编码器主要通过
概述
如图1所示,CausalManifoldNet由三个模块组成:道路流形场景编码器(RMSE)、可扩展因果相关性交互运算符(SCIO)和联合多模态场景解码器(JMSD)。RMSE通过编码相对于车道? 运动、几何形状、语义和拓扑,将代理历史、高分辨率地图(HD maps)和交通信号转换为紧凑的以道路为中心的令牌。SCIO构建了有限视距的可达区域,并仅在相关代理之间构建稀疏的保留交互边
数据集
我们在两个大规模的公共运动预测基准上评估了CausalManifoldNet:Waymo开放运动数据集(WOMD)[30]和Argoverse 2运动预测数据集[31]。
评估指标
我们评估了轨迹准确性、基于置信度的终点预测、地图合规性和交互一致性。对于轨迹准确性,我们报告了最小平均位移误差(minADE)、最小最终位移误差(minFDE)和遗漏率(MR)。MinADE和minFDE测量了最小平均值和最终值
结论
本文提出了CausalManifoldNet,这是一个用于结构化驾驶环境中的联合多模态多代理运动预测的框架。该模型将道路网络表示为一组通过定向拓扑连接的局部平滑的道路对齐原语,而不是单一的全球平滑流形。这种分段表示结合了笛卡尔动态与相对于车道? 运动、局部几何和道路语义。CausalManifoldNet进一步构建了有界的交互
利益冲突声明
作者声明他们没有已知的会影响到本文所述工作的竞争性财务利益或个人关系。
Yang Zhang