GLIM：基于Mamba的用于多光谱目标检测的高效模态内全局-局部特征提取与模态间交互

《Applied Soft Computing》：GLIM: Efficient Intra-modal Global-Local Feature Extraction and Inter-modal Interaction based on Mamba for Multispectral Object Detection

　　

摘要 红外和可见光目标检测通过融合红外和可见光模态的互补信息，能够有效提升检测精度和鲁棒性。然而，现有方法仍面临以下局限：1）模态内特征提取方法难以高效平衡全局和局部信息；2）模态间特征融合方法难以有效整合跨模态的共享信息和互补信息；3）检测颈部缺乏针对跨模态任务的定向设计。针对这些问题，我们提出了一种基于Mamba的高效模态内全局-局部特征提取与模态间交互方法GLIM。具体而言，我们引入了轻量高效的Mamba。首先，针对模态内特征提取，我们设计了全局Mamba和局部Mamba模块：全局Mamba对下采样特征图进行粗粒度长距离依赖建模，同时生成语义先验；在这些先验的指导下，局部Mamba选择高语义区域并构建细粒度局部感受野。这形成了一种具有从粗到细、从全局到局部策略特征的高效模态内特征提取范式。随后，针对模态间特征融合，我们提出了模态交互模块。通过对模态间特征进行微分和加法运算，该模块显式建模模态特异性和模态无关特征，然后利用Mamba蒸馏增强每个模态表征的信息。与隐式建模不同，显式建模确保了对于同一图像块，特征级表征已封装了不同模态的共定位信息，从而无需模型学习跨模态的空间对应关系。这简化了计算过程并提高了融合效率。最后，针对检测颈部设计，我们引入了跨层特征细化模块。该模块采用Mamba对相邻层中具有相同感受野的特征同时进行跨层交互，进一步细化融合特征表征并增强多尺度特征表征。在多个具有多场景和多尺度的具有挑战性的数据集上的大量实验表明，我们的方法不仅高效地实现了每个数据集上的最优性能，还表现出优异的多尺度泛化能力。此外，它还提供了一种平衡精度和效率的模型，可用于自动驾驶和现场监控等场景中红外和可见光目标检测的实际部署。

引言 目标检测是计算机视觉中的基本任务之一，在监控[1]、目标跟踪[2]和自动驾驶[3]等众多领域有着广泛的应用。早期的研究主要依赖可见光图像进行目标检测[4]。然而，可见光传感器容易受到复杂环境因素的干扰，包括恶劣的光照条件和目标遮挡，这往往导致实际应用中的性能不佳。因此，研究人员转向红外图像作为替代方案[5]。红外传感器基于物体的热辐射特性，受光照条件和目标遮挡的影响较小。尽管如此，红外图像缺乏颜色和清晰的纹理细节。直观地看，将红外和可见光图像集成用于目标检测[6]可以充分利用两种模态的互补信息。这实现了模态互补，增强了对复杂环境干扰的检测精度和鲁棒性。然而，现有的红外可见光目标检测研究在有效提取模态内特征和高效融合模态间特征方面仍面临重大挑战。

现有的模态内特征提取方法在构建局部感受野和建模长距离依赖方面仍缺乏效率（如图1a-d所示）。具体而言，如图1a所示，基于CNN的方法使用卷积进行特征提取[7]。虽然具有轻量高效的优点，但它们受限于卷积的局部感受野特性，无法建模长距离依赖。长距离依赖的缺乏不利于常规目标检测。如图1b所示，基于Transformer的方法利用自注意力机制进行特征提取[8]。虽然能够建模长距离依赖，但由于注意力机制的二次计算复杂度，它们面临显著的计算开销。这使得难以满足目标检测的实时要求。为了缓解Transformer带来的计算负担，[9]和[8]提出了对自注意力机制中的查询、键和值组件进行下采样，或在Transformer处理前直接对特征图进行下采样，分别如图1c和1d所示。虽然这些方法在一定程度上降低了计算负载，但下采样操作不可避免地导致局部细节信息的损失。局部细节的丢失不利于小目标检测。

现有的模态融合方法仍难以高效融合模态间特征（如图2a-d所示）。具体而言，如图2a所示，基于CNN的方法通过加法、减法、乘法或拼接等操作组合跨模态特征，然后使用卷积提取互补信息[10]。然而，其静态卷积核难以有效处理由差异显著的模态组成的特征。如图2b和2c所示，基于Transformer的方法通常采用两种模态融合方法：一种是拼接跨模态特征，添加位置编码，然后使用自注意力机制隐式建模模态内和模态间潜在交互[8]；另一种是利用跨模态注意力，其中一个模态的查询与另一个模态的键和值进行交互，从而将后者的互补信息融入前者[11]。虽然基于Transformer的方法相比基于CNN的方法实现了更彻底的模态融合，但它们依赖注意力机制隐式捕捉模态间关系。结合注意力机制固有的二次计算复杂度，这导致了高昂的计算成本。

随着Mamba在NLP中的成功应用，许多探索其在CV中使用的涌现。例如，[12]用Mamba替换了图2b中的Transformer，利用其线性计算复杂度克服了Transformer二次计算复杂度的限制。然而，由于Mamba对图像位置信息的敏感度较弱，且难以理解视觉内容所需的全局上下文关系[13]，它难以理解不同模态之间的空间对应关系，从而无法有效建模潜在的中模态交互。如图2d所示，[14]提出了通道交换策略以增强跨模态表征的一致性。遗憾的是，这种方法没有充分考虑模态之间的显著差异，限制了其充分利用跨模态互补信息的能力。

目前，大多数跨模态目标检测方法优先考虑模态内特征提取和模态间特征融合技术的设计，往往忽视了检测颈部基本组件的研究。这导致了缺乏专为跨模态目标检测量身定制的检测颈部组件。在单模态目标检测中，检测颈部通常设计用于增强多尺度特征表征（如图3a-3b所示）。具体而言，如图3a所示，特征金字塔网络（FPN）[15]是CNN-based检测颈部的代表性工作。FPN通过自下而上和自上而下的通路实现多尺度特征图的融合，从而获得语义丰富且具有尺度感知能力的特征表征。如图3b所示，DETR[16]的编码器-解码器架构是Transformer-based检测颈部的代表性工作。在编码器阶段，DETR将不同尺度的特征图展平并拼接后进行自注意力计算。与逐步进行跨层邻域交互的FPN不同，DETR在一步中实现了多尺度特征的全局上下文建模。在解码器阶段，DETR通过目标查询与编码器输出特征之间的跨注意力计算完成从特征到目标预测的转换。然而，在跨模态目标检测中，检测颈部处理的特征不再是单纯的多尺度特征，而是融合的多尺度特征。其任务不仅需要增强多尺度特征表征，还需要进一步细化融合特征表征。

随着Mamba模型的出现，它在轻量设计和计算效率方面相比Transformer表现出显著优势，有效地将后者的二次复杂度降低到线性复杂度。然而，当前的跨模态目标检测方法仅将Mamba集成到模态间特征融合中，尚未探索基于Mamba的架构用于模态内特征提取和检测颈部。

针对上述问题，我们提出了一种基于Mamba的高效模态内全局-局部特征提取与模态间交互方法，称为GLIM。具体而言，为了高效提取模态内特征，我们引入了全局Mamba和局部Mamba模块（如图1e所示）。全局Mamba模块对下采样特征图进行操作以粗粒度地建模长距离依赖并输出语义先验。同时，局部Mamba模块利用全局Mamba模块提供的语义先验，通过Top-K选择关注高语义区域，从而精细构建局部感受野。该设计旨在以较低的计算成本捕获全局和局部视角的关键信息，从而增强模型对不同尺度目标检测的泛化能力。

此外，为了高效融合模态间特征，我们设计了模态交互模块（如图2e所示）。该模块通过对跨模态特征进行微分和加法运算显式建模模态特异性和模态无关特征，并利用Mamba探索跨模态的互补信息和共享信息。与现有的Transformer-based融合方法不同，后者隐式地在中模态特征中建模潜在的中模态交互，我们的模态交互模块有效地简化了融合过程并提高了融合效率。

最后，考虑到跨模态目标检测任务与单模态目标检测任务之间的差异，我们对检测颈部进行了针对性改进，提出了跨层特征细化模块（如图3c所示），该模块可以在跨层邻域交互期间进一步细化融合特征表征并增强多尺度特征表征。

本文的主要贡献总结如下：
1）我们提出了全局和局部Mamba模块，它们在每个模态内高效建模长距离依赖（全局信息）并构建局部感受野（局部信息）。
2）我们引入了模态交互模块，显式建模模态间的模态特异性和模态无关特征，有效地简化了模态融合的计算过程。
3）我们开发了跨层特征细化模块，在跨层邻域交互期间进一步细化融合特征表征并增强多尺度特征表征。
4）在五个具有多场景和多尺度的具有挑战性的数据集上的大量实验表明，我们的方法不仅在每个数据集上实现了SOTA性能，还表现出优越的多尺度泛化能力，能够很好地适应不同的数据集。

章节片段 相关工作 本节简要回顾了单模态目标检测、小目标检测、跨模态目标检测和Mamba的相关工作。

讨论 值得注意的是，所提出的GLIM可以独立使用或作为即插即用组件使用，可适应任何双流特征提取网络。然而，由于Mamba固有的顺序推理机制类似于RNN，在处理图像数据时难以实现高效并行化。现有的解决方案通常采用互补图像块扫描策略以增强Mamba感知空间位置的能力。

结论 在本文中，我们提出了一种基于Mamba的跨模态目标检测方法，称为GLIM，旨在高效实现模态内全局-局部特征提取和模态间交互。在技术层面，我们提出了全局和局部Mamba模块，分别用于建模长距离依赖和构建局部感受野。值得注意的是，全局Mamba对下采样特征图进行粗粒度提取，而局部Mamba从...

CRediT作者贡献声明 张宇航：写作-审阅与编辑、可视化、验证、软件、方法学、形式化分析。柴林：写作-审阅与编辑、监督。赖嘉豪：写作-审阅与编辑、监督。

利益冲突声明 作者声明不存在任何已知的可能影响本文工作的竞争性经济利益或个人关系。

致谢 本研究得到了中国国家自然科学基金（批准号62373102）的支持。

张宇航 | 柴林 | 赖嘉豪 东南大学自动化学院，教育部复杂工程系统测量与控制重点实验室，南京 210096，中国