LongSF：结合单样本多分类器（SSMs）的长距离状态融合技术，用于多模态3D对象检测

《Expert Systems with Applications》：LongSF: Long State Fusion with SSMs for Multimodal 3D Object Detection

　　

潘高|任曦文|费春|任帅|范玉玲|张平

中国电子科技大学光电科学与工程学院，成都，611731，中国

摘要

基于令牌的全球特征范式（例如 Transformers）推动了自动驾驶多模态 3D 目标检测的进展。然而，现有方法面临两个关键限制：（1）浅层融合，其中空间特征和语义特征仅在令牌级别上进行连接，无法充分探索深度的跨模态交互；（2）伪全局相关性，局部令牌交互难以模拟长距离依赖关系。这些缺点限制了模态交互的深度，阻碍了稳健融合的实现。为了解决这些问题，我们创新地将多模态融合置于一个深度状态空间中。因此，我们提出了 LongSF，这是第一个用于多模态 3D 检测的状态空间融合框架。LongSF 通过调整深度特征状态克服了这两个关键限制：（1）引入了一种状态重组的融合策略，在深度特征空间中动态结合关键的多模态特征，超越了传统令牌连接或逐元素融合的约束；（2）设计了一种多模态耦合扫描方法，通过结构化的状态序列建模捕获真实的 long 距离跨模态依赖关系。此外，我们提出了一个转置空间细化模块，将旋转不变性嵌入状态序列中，以提高空间区分能力。实验表明，LongSF 在 KITTI 和 nuScenes 基准测试中超越了现有方法，验证了深度状态空间融合的有效性。值得注意的是，在 KITTI 数据集上，它仅通过最小的参数增长实现了 1.45% 的 mAP 提升。代码即将开源。实现代码可在此处找到：https://github.com/ELOESZHANG/LongSF

引言

多模态 3D 目标检测是自动驾驶 (AD) 感知系统中的基本任务。不同的模态，包括图像和点云，通常提供互补的信息：视觉数据在上下文表示方面具有丰富的语义内容（Tian 等人，2022），但它们受到缺乏可量化深度信息的限制。虽然点云提供了准确的几何和深度特征，但其稀疏性和缺乏语义信息限制了它们独立使用的有效性（Liu 等人，2023a）。结合多模态数据以提高感知框架的鲁棒性和精度已成为一项关键的研究重点。近年来，随着大量 AD 数据集的出现（Caesar 等人，2020），依赖于 2D 密集特征的方法在 3D 目标检测任务中取得了显著进展（Yu、Lian、Li 和 Zhao，2024）。然而，这些方法受到特征感受野定位的限制，影响了它们捕获长距离关系的能力（Wu 等人，2023a）。Transformers 通过自注意力机制和交叉注意力机制，在捕获输入序列中任意点之间的全局依赖关系方面表现出色。这种能力在涉及图像和文本的任务中得到了广泛验证。通过使特征在所有位置之间交互，自注意力有效建模了全局信息。然而，这带来了显著的计算负担。在 AD 场景中，这些 Transformer 的限制带来了重大的科学挑战：计算负担降低了部署效率，而伪全局注意力倾向则影响了关键长距离依赖关系的精确建模。

为了解决这些挑战，以 Transformer 架构为代表的基于令牌的交互技术得到了广泛应用（Bai 等人，2022）。尽管基于令牌的技术提高了 Transformer 模型的计算效率，并实现了全局信息的粗粒度提取，但它们仍然面临基本限制。已识别的限制包括全局信息不足、序列建模长度受限以及泛化能力下降（Gu 和 Dao，2023）。在处理扩展序列时，令牌之间的交互需要更多的计算资源。这可能导致效率显著降低，尤其是在处理大量文本或复杂的多模态数据时。此外，在模态特征密度过高的情况下，与令牌相关的注意力机制通常倾向于关注局部细节，从而影响全局上下文信息的整合。由于令牌特征中存在的局部交互，这些方法可能会产生伪全局关系。这在多模态融合中带来了显著挑战，特别是在全局特征建模和交互方面。

同时，具有线性复杂性的循环神经网络 (RNN) 模型（Liu 等人，2024）为深度学习引入了一种新范式。其中，状态空间模型 (SSM) 的进展为解决多模态融合中的全局建模问题提供了新的机会。与传统的 Transformer 架构相比，基于 Mamba 的模型（Gu 和 Dao，2023）在建模长距离依赖关系方面表现出更高的效率，同时减轻了 Transformer 架构中固有的伪全局相关性问题。这对于需要长上下文理解的 AD 应用来说是一个关键优势。然而，在 SSM 内实现跨模态的深度和协同融合仍然是一个关键挑战。目前的基于 SSM 的框架通常通过简单的操作（如通道连接（Wang、Gao、Hu 和 Zhang，2025）、数据级融合（Li 等人，2024）或逐元素门控（Cao、Chen、Song、Chen 和 Zhang，2025）在浅层特征级别融合多模态数据，限制了它们建模复杂、高级别跨模态交互的能力。这种浅层融合阻碍了 SSM 在 AD 中实现稳健多模态感知的潜力。

在 SSM 在序列建模任务中取得成功的基础上（Gu 和 Dao，2023），我们专注于解决多模态 3D 目标检测中的关键挑战。具体而言，为了实现有效捕获长距离跨模态依赖关系的深度融合，我们提出了一种长序列融合方法，称为 LongSF。为了解决浅层融合和伪全局关系问题，我们的方法从状态空间建模的角度重新构建了多模态融合范式。它包含两项核心创新：（1）内在状态融合 (ISF) 模块采用状态重组融合策略，有效增强了融合空间的深度；（2）耦合扫描 (CS-scan) 策略采用结构化的状态耦合机制，自然地捕获长距离跨模态上下文依赖关系。此外，我们开发了一个转置空间细化 (TSR) 模块，将几何先验整合到状态演化过程中，保持了关键的旋转不变属性，同时保持了空间区分能力。与早期方法相比，这个状态空间框架提供了几个关键优势：支持深度状态交互，提供长距离关系建模能力，并保持与输入大小线性增长的计算效率。LongSF 的核心创新如下：

• •
  我们提出了一个名为 LongSF 的多模态框架，旨在解决浅层融合和伪全局依赖建模的问题。LongSF 通过利用内部状态融合和外部融合有效提升了检测性能。
• •
  我们设计了耦合扫描 (CS-scan)，这是一种双向扫描，旨在打破长距离依赖建模的瓶颈。CS-scan 利用状态耦合以线性复杂度编码全局特征。其灵活性使其能够无缝集成到融合或特征细化过程中，提高了框架的适应性。
• •
  我们介绍了内在状态融合 (ISF) 模块和转置空间细化 (TSR) 模块。ISF 通过独特的状态管理实现了状态特征的深度融合。TSR 通过序列转置和双向 SSM 增强了特征空间表示能力。
• •
  在 KITTI 和 nuScenes 基准测试上的广泛验证表明 LongSF 的性能达到了最先进水平，特别是在 KITTI 测试集上实现了 1.46% 的 mAP 提升，且参数增长最小。

章节摘录

多模态 3D 目标检测

最近的研究表明，在大型数据集（包括 nuScenes）中，多模态检测受到了越来越多的关注（Lin 等人，2023）。作为空间融合的创新贡献，BEVFusion（Liu 等人，2023b）将多模态表示结合到一个连贯的 3D 空间中，成功实现了空间对齐。其中，LSS 通过将正面视图特征投影到 3D 空间然后再将其重新投影到鸟瞰 (BEV) 视角中来促进这一过程。

提出的方法

在这部分，我们介绍了 LongSF，这是一个利用 SSM 强大序列建模能力的系统。如图 1 所示，LongSF 框架包括以下元素：1) CS-scan 专门用于从宽区域扫描中提取全局特征，在扫描过程中能够将多模态特征整合到一个通道中；2) ISF 模块通过 IO-SSM 层实现相机和 LiDAR 特征的内部状态融合；3) TSR 模块引入

实验

在这部分，我们首先介绍了基本实验设置，包括数据集、评估指标、基线和训练配置。随后，我们将 LongSF 检测器与替代检测方法进行比较，以展示其优越性能。通过消融实验，我们获得了模型中每个组件、独特操作和超参数的贡献。最后，我们展示了可视化结果，以展示

结论

在这项研究中，我们提出了 LongSF，它开创了 SSM 在多模态 3D 检测中的应用，克服了当前方法在全局建模和跨模态交互方面的不足。为了解决基于令牌的方法中的浅层融合和伪全局相关性问题，我们提出了一些关键创新：（1）一种状态重组融合方法，它在深度状态空间中动态结合关键的多模态特征；（2）一种多模态耦合扫描机制，该机制

CRediT 作者贡献声明

潘高：方法论、数据整理、写作、项目管理。任曦文：实验、资源、软件。费春：调查、数据整理。任帅：软件、验证。范玉玲：实验、概念化、写作。张平：方法论、写作、项目管理、资源。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。