跨模态自适应注意力驱动的多模态感知与预测性运动预测一体化方法

《Future Transportation》：Integrated Multimodal Perception and Predictive Motion Forecasting via Cross-Modal Adaptive Attention Bakhita Salman, Alexander Chavez and Muneeb Yassin

　　

精确的环境感知对于安全自动驾驶至关重要；然而，现有多数多模态系统依赖固定式或启发式传感器融合策略，无法适应传感器可靠性随场景而变化的情况。本文提出跨模态自适应注意力（Cross-Modal Adaptive Attention, CMAA），这是一种统一的端到端鸟瞰图（Bird’s-Eye-View, BEV）感知框架，可通过可学习、具备上下文感知能力的模态门控机制，对摄像头、激光雷达（LiDAR）和雷达（RADAR）信息进行动态融合。不同于静态融合方法，CMAA依据全局场景描述符自适应地重加权各传感器贡献，从而无需人工调参即可稳健整合语义、几何与运动线索。所提出的体系结构在共享的BEV表示中联合执行三维（3D）目标检测、多目标跟踪与运动预测，在跨任务保持空间对齐的同时支持高效实时部署。在官方nuScenes验证集划分上的实验表明，CMAA取得0.528 mAP和0.691 NDS，优于固定权重融合基线，同时保持紧凑的模型规模与高效推理。利用官方nuScenes tracking devkit进行的附加跟踪评估显示，其跟踪性能得到提升；运动预测实验则表明轨迹位移误差（minADE和minFDE）降低。消融研究进一步证实，自适应模态门控与双向跨模态细化均具有互补贡献；分层动态分析还揭示，在不同目标类别、运动状态与环境条件下，速度估计误差均持续下降。这些结果表明，自适应多模态融合能够在复杂交通环境中提升鲁棒性、运动推理能力与感知可靠性，同时在部署于安全关键型自动驾驶系统时仍保持计算高效性。

该论文发表于《Future Transportation》，聚焦自动驾驶系统中多模态感知与运动预测一体化建模问题。研究背景在于，自动驾驶需要同时具备高精度环境感知与周围交通参与体运动预测能力，以保证复杂交通环境中的安全性与运行效率。传统自动驾驶系统通常将三维目标检测、多目标跟踪和轨迹预测划分为串行模块，这种模块化管线虽然便于系统设计，却容易造成误差累积与额外时延，不利于实时闭环部署。近年来，基于鸟瞰图（Bird’s-Eye-View, BEV）的端到端方法显示出联合优化感知与预测任务的潜力，但现有多数多模态方法仍采用固定权重或启发式融合策略，难以显式应对不同环境下摄像头、激光雷达（LiDAR）和雷达（RADAR）可靠性动态变化的问题。尤其在低照度、遮挡、雨雾等场景中，不同传感器退化模式并不一致，静态融合机制往往难以充分发挥模态互补性，从而影响定位、测速和轨迹预测精度。基于上述问题，研究人员提出跨模态自适应注意力（Cross-Modal Adaptive Attention, CMAA）框架，旨在通过上下文感知的动态模态加权机制提升多模态BEV感知与运动推理鲁棒性。

研究人员构建了一个统一的、基于Transformer的端到端BEV框架，将摄像头、LiDAR和RADAR编码到共享BEV空间中，并通过可学习的模态门控与双向跨模态注意力实现动态融合。在这一共享表示上，系统联合执行三维目标检测、多目标跟踪与多模态轨迹预测。实验基于官方nuScenes数据集验证集开展，并进一步进行了闭环仿真评估。结果表明，CMAA在检测性能、速度估计、跟踪表现和轨迹预测精度上均优于固定融合基线，同时保持较小参数规模和较高推理效率。论文的重要意义在于证明了场景自适应的多模态融合机制能够为自动驾驶中的统一感知—预测系统提供更高鲁棒性，并具有实际部署可行性。

研究方法方面，作者主要采用以下关键技术路线：首先，使用六路环视摄像头、单个LiDAR和五个RADAR的nuScenes官方训练/验证划分作为样本来源，将多源输入统一投影到200×200的BEV网格；其次，分别以ResNet-50与Lift–Splat–Shoot（LSS）生成相机BEV特征，以PointPillars骨干生成LiDAR BEV特征，并以轻量级CNN–MLP编码RADAR的距离与多普勒速度信息；再次，引入CMAA模块，通过全局平均池化（GAP）提取模态描述符，经多层感知机（MLP）与softmax生成自适应门控系数，同时利用双向跨模态注意力进行特征细化；最后，在统一BEV特征上以DETR风格Transformer完成检测与跟踪，并通过RoIAlign提取体素区域特征进行多模态轨迹预测，整体采用AdamW进行多任务联合优化，并辅以模态dropout和Kullback–Leibler（KL）散度正则抑制模态塌缩。

以下结合论文主体各部分结果进行解读。

Implementation and Evaluation Pipeline Verification
在正式报告训练后性能之前，研究人员首先验证了实现与评估流程的正确性。其一，End-to-End Architectural Verification表明，包含模态编码、BEV融合、基于Transformer的检测与跟踪以及轨迹预测在内的完整CMAA管线能够在nuScenes格式输入上稳定运行，所有中间张量与输出张量尺寸均符合理论设计，说明模型结构集成正确。其二，Diagnostic Detection Metric Validation (Untrained Model)采用随机初始化参数进行评估，结果未产生满足2.0 m中心距离匹配准则的有效预测，因此mAP与NDS为0，而mATE、mASE、mAOE、mAVE因无匹配对而未定义。该结果从反面证明了nuScenes评估流程实现正确，不会在无效预测下给出虚高得分。

Baseline Behavior and Adaptive Fusion Analysis
本节进一步给出了未训练状态下指标行为的 sanity check，并通过示意图定性展示CMAA的模态门控行为。作者指出，摄像头与LiDAR主要支撑空间结构推理，而RADAR提供互补的基于多普勒（Doppler）的速度线索。门控权重会随环境变化而变化，这说明模型能够根据场景条件自适应调整各模态重要性，从而维持稳健感知。

Implementation and Training Configuration
论文对实现配置进行了明确说明。Architectural Implementation部分指出，六路RGB相机、LiDAR与RADAR被编码为共享空间分辨率200×200的BEV特征图，其中相机、LiDAR、RADAR通道数分别为256、384与128，经CMAA融合后供检测头和预测头共享。检测头输出900个目标查询，预测头为每个目标输出_K=6条未来轨迹，时间长度为_T=30步。Training Configuration部分说明，模型在官方nuScenes训练集上训练30个epoch，采用AdamW优化器，学习率初始值为2×10^?4，批大小为8，运行于4×A100 GPU，并使用随机模态dropout（_p=0.1）提高对传感器退化的鲁棒性。该部分为后续性能比较提供了清晰一致的实验基础。

Adaptive Fusion Behavior and Training Convergence
该部分说明了CMAA的核心融合机制与训练收敛特征。作者展示了模态权重α=[α_cam, α_LiDAR, α_RADAR]如何通过全局池化后的特征经softmax门控生成，并形成维度为[B,512,200,200]的统一BEV表示。训练过程中，训练集和验证集mAP持续上升，而损失函数平稳下降并收敛，表明端到端多模态融合架构优化稳定。文中同时指出，所有定量结果均基于官方nuScenes验证集，且相关收敛趋势与跟踪结果、检测结果和消融结果一致。

Precision–Recall Performance and Qualitative BEV Analysis
研究人员从精确率—召回率曲线和定性BEV特征图两个角度验证CMAA的效果。结果显示，相较固定权重融合，CMAA在不同召回率区间内保持更高精确率，说明其检测判别能力更强。对应的BEV可视化则显示，来自相机、LiDAR和RADAR的特征在融合后形成了更一致的统一表示，体现出语义、几何和运动信息的有效整合。

Tracking Evaluation
在多目标跟踪评估中，作者使用官方nuScenes tracking评估协议，通过结果导出与devkit计算AMOTA和AMOTP等指标。研究中指出，CMAA相较固定权重多模态融合基线实现了更高的跟踪精度和更好的身份一致性。这意味着，自适应融合和共享BEV表示不仅提升了单帧检测质量，也改善了跨帧目标关联与时序运动估计能力。

Class-Wise Performance and Confusion Analysis
类别级性能分析表明，CMAA在官方nuScenes验证集的混淆矩阵中表现出较强对角占优，提示整体分类稳定性较好。其中，car类别召回率最高；truck与bus、pedestrian与bicyclist、traffic_cone与barrier之间仍存在一定混淆，反映出几何形态或外观相似类别的区分难度。论文指出，与固定权重融合相比，CMAA在挑战性可见度条件下减少了非对角混淆，说明其在复杂场景下的类别判别鲁棒性有所增强。

Comparison with State-of-the-Art
在与代表性先进BEV感知框架的比较中，作者明确说明所有CMAA结果均来自官方nuScenes训练/验证划分，不涉及官方测试集提交。结果显示，CMAA在验证集上取得更高的mAP和NDS，同时参数复杂度更低。与文中列出的最强基线UniAD相比，CMAA的mAP提高了6.9个百分点，NDS提高了5.9个百分点，且平均速度误差mAVE从0.462下降到0.392。这一结果说明，自适应跨模态加权不仅提高了空间检测质量，也显著改善了速度估计能力。

Ablation Study
消融研究是本文论证机制有效性的关键部分。作者比较了三种配置：固定权重融合基线、仅使用自适应门控的Gating Only版本，以及包含门控和双向跨模态细化的完整CMAA。结果表明，仅引入自适应模态门控就可较静态融合显著提升mAP，增幅约为5.9个百分点，证明场景依赖的模态重加权本身具有重要价值。在此基础上，再加入双向跨模态注意力细化模块，可进一步改善mAP、NDS和mAVE，说明跨模态特征深层交互能够增强空间一致性和运动估计能力。该实验清楚地区分了“自适应加权”与“跨模态细化”两项设计的独立贡献与互补关系。

Motion Forecasting Performance Evaluation
在运动预测方面，作者采用minADE、minFDE、Miss Rate（MR）和负对数似然（Negative Log-Likelihood, NLL）等标准指标进行评估，预测范围为3 s，即_T=30个时间步，并输出_K=6种轨迹模式。结果显示，CMAA相较固定权重融合在所有指标上均有改善，轨迹位移误差降低、Miss Rate下降、NLL更低，表明模型不仅轨迹更准确，而且概率校准更好。进一步地，移除RADAR会导致长时域预测精度下降并增加Miss Rate，说明基于多普勒的速度信息对动态一致性具有直接贡献。这与检测阶段mAVE下降的现象相互印证，表明更准确的速度估计能够向下游轨迹预测传递增益。

Dynamic Analysis
论文还进行了分层动态分析，以更细致地考察速度估计误差在不同目标类别、运动状态与环境条件下的变化。作者按照真实速度大小将目标划分为静止（_v<0.5 m/s）、低速（0.5≤_v<5 m/s）和高速（_v≥5 m/s）三类，并依据场景元数据区分晴朗环境与雨雾等不利天气。结果表明，CMAA在所有评估情形下均持续降低mAVE，尤其在高速目标和恶劣天气条件中改善最明显。这说明，当场景更依赖稳定速度线索时，RADAR多普勒信息和自适应模态门控的优势会更加突出。

讨论部分指出，CMAA的实验结果系统性证明了该方法在检测、跟踪和运动预测上的有效性。统一的200×200 BEV表示使相机、LiDAR和RADAR特征在同一空间网格中对齐，从而支持一致的多模态空间—动态联合推理。精确率—召回率分析与BEV可视化表明，自适应模态加权有助于在环境变化下动态平衡相机语义、LiDAR几何结构和RADAR多普勒速度信息。消融研究则进一步揭示，自适应门控和跨模态细化在性能增益上具有互补性；特别是去除RADAR或移除门控后，mAVE明显恶化，强调了上下文感知融合对动态目标建模的重要性。分层分析与轨迹预测结果的一致改进说明，感知阶段更准确的速度估计会直接促进下游预测性能。闭环评估进一步表明，该一体化感知—预测框架在实时约束下具有部署可行性。作者同时指出，当前门控机制仍基于全局场景级，而未显式建模局部空间范围内的传感器退化，这是未来可拓展方向之一。

研究结论部分可译述如下：本研究提出了跨模态自适应注意力（CMAA），这是一种统一的BEV框架，通过可学习、具备上下文感知能力的门控机制，对摄像头、LiDAR和RADAR特征进行自适应融合。不同于静态融合方法，CMAA能够依据场景条件动态调整各模态贡献，从而提升在环境变化下的鲁棒性。基于官方nuScenes验证集的评估表明，CMAA在保持相对紧凑参数规模的同时，实现了具有竞争力的检测与预测性能。消融实验验证了自适应门控对检测精度和速度估计的促进作用，也表明RADAR多普勒信息对动态目标建模具有实质性贡献。通过在统一BEV表示中整合语义、几何和运动学线索，CMAA增强了跨任务的空间一致性和运动推理能力。该架构保持完全端到端可微，并通过闭环仿真实验证明了其实时部署兼容性。总体而言，CMAA为自适应多模态BEV感知提供了一种可复现且参数高效的方案，相较静态融合策略具有更强鲁棒性。