TempoCross：用于3D检测中多模态时间融合的实例感知稀疏表示方法

《Scientific Reports》：TempoCross: instance-aware sparse representation for multimodal temporal fusion in 3D detection

　　

摘要

随着对自动驾驶感知系统性能要求的不断提升，结合不同传感器数据与时间信息的鸟瞰图感知方式已成为研究重点。近期研究要么通过鸟瞰图级别的特征聚合实现多模态时间检测，要么采用以物体为中心的稀疏时间建模方法。不过，在激光雷达与摄像头检测中，如何同时整合这两种方法并保留各模态特有的时间状态，目前仍缺乏相关研究。在这项工作中，我们提出了TempoCross，这是一种基于实例感知型稀疏表示的多模态时间融合3D检测方法。TempoCross将不同时间戳及传感器模态的特征编码到统一的实例空间中，从而能够从具有模态和时间特性的状态中灵活提取关键目标信息。首先，两个分支会进行初步的跨模态融合，为当前帧生成查询。在运动补偿模块中，一种混合运动建模策略可减少复杂物体运动导致的历史实例与当前实例之间的对齐偏差，该策略结合了显式的刚体变换与隐式的可学习变形残差，提升了跨帧实例关联的准确性与鲁棒性。接着，时间感知增强模块会将初始查询、当前帧特征以及经过运动补偿的历史实例整合在一起。最后，一种轻量级的交叉注意力机制负责融合来自两个分支的当前实例与历史实例。这种设计减少了重复传递完整场景融合后的鸟瞰图特征的必要性，将时间交互集中在与目标相关的实例状态上。在nuScenes测试集上，TempoCross的mAP值达到74.1%，NDS值达到75.7%，性能优于主流基准检测器。这些结果证明了将激光雷达与摄像头融合技术结合实例感知型稀疏时间建模方法的有效性。