DCMamba：一种基于动态卷积和Mamba技术的差分耦合网络，用于图像对齐和融合

《Optics and Lasers in Engineering》：DCMamba: A differential coupling network based on dynamic convolution and mamba for misaligned image registration and fusion

本文提出DCMamba模型，通过动态卷积和Mamba架构解决红外-可见光图像对齐与融合问题，提升细节保留和语义一致性。

　　

张云德|孔军|陶学峰|卢明|姜敏

江南大学先进轻工业过程控制重点实验室（教育部），中国无锡，214122

摘要

联合图像配准与融合旨在对齐源图像并生成更丰富、互补的融合图像。现有方法依赖静态卷积或注意力机制来融合错位的图像。然而，它们忽略了自适应感受野和全局-局部耦合，导致细粒度局部细节退化以及全局上下文语义减弱。在本文中，我们提出了一种基于动态卷积和Mamba的差分耦合网络（DCMamba）用于错位图像的配准与融合。首先，为了校正多尺度几何畸变，我们提出了渐进式差分配准（PDR）方法，通过空间和通道差分加权来估计多尺度变形场。其次，为了增强细粒度局部细节和全局-局部特征耦合，我们开发了动态多层特征提取（DMFE）方法，该方法结合动态卷积和SingleMamba来强化局部和全局特征表示。第三，为了提高互补语义和全局-局部融合耦合，我们设计了差分渐进式Mamba融合（DPMF）方法，它结合了通道交换和多模态Mamba，增强了细粒度局部细节和全局上下文语义。在错位的多模态数据集上的广泛实验表明，DCMamba在配准精度和融合质量方面均显著优于现有方法。

引言

红外与可见光图像融合（IVIF）整合了互补的热量和纹理信息，生成高质量且模态互补的融合图像。它在遥感[1]、目标检测[2]、医学诊断[3] [4]和军事侦察[5]中发挥着重要作用。

实际上，来自不同传感器的红外和可见光图像通常存在空间错位。这种错位主要是由于视差[6]、传感器姿态偏差或仿射畸变造成的。现有的IVIF方法[7] [8] [9] [10] [11]主要针对对齐良好的图像对设计。直接融合错位的图像往往会导致畸变，从而产生模糊的边缘或结构伪影。为了解决这个问题，一些研究[12] [13]将图像配准集成到IVIF中，形成了联合图像配准与融合（JIRF）框架，如图1(a)所示。JIRF旨在通过同时优化空间对齐和特征融合来保留细粒度局部细节和全局上下文语义。

尽管JIRF取得了进展，现有方法[6] [14] [15] [16]仍然难以保留细粒度细节和全局-局部耦合。基于CNN的JIRF方法[6] [14]倾向于过分强调局部纹理，这限制了它们的自适应感受野并阻碍了长距离依赖关系的建模。此外，基于Transformer的方法[15] [17] [18]通过自注意力来建模长距离依赖关系，但块状独立性引入了块伪影，而静态注意力无法适应动态任务。结果，空间连续性在初始阶段就被离散化和压缩，减少了每个块内的高频细节和像素级结构信息。

最近，状态空间模型（SSMs）[19] [20]，特别是Mamba[21]，作为一种高效的长距离建模新范式出现。其选择性的状态转换能够以线性复杂度实现内容感知的全局推理。与Transformer相比，Mamba在各种视觉任务中表现出更优越的性能。这为将Mamba引入JIRF提供了有希望的方向。

然而，现有的基于Mamba的方法[22] [23]主要强调全局表示，忽略了局部细纹理（例如边缘、纹理）与全局语义（例如布局、场景结构）之间的耦合。这种“全局优先、局部次要”的偏见常常导致融合图像中的细节模糊或语义不一致（图2），尤其是在行人和车牌区域。为了利用全局和局部的优势，我们提出了一种差分耦合网络[24]，在JIRF中集成动态卷积和Mamba（图1(b)）。与现有方法不同，我们提出了一种显式的差分全局-局部耦合策略，在统一框架内结合动态卷积进行局部适应和Mamba进行长距离依赖关系建模。该设计同时优化了局部和全局表示，有效保留了细粒度纹理，同时保持了全局语义一致性。与现有JIRF方法的区别总结在表1中。

本文提出了DCMamba，一种基于动态卷积和Mamba的差分耦合网络，如图3所示。DCMamba由配准网络（$N_R$）和融合网络（$N_F$）组成。首先，$N_R$采用渐进式差分配准（PDR）来估计多尺度变形场。它引入差分加权以解决几何错位问题。空间权重突出边缘丰富的区域以实现精确的局部对齐。通道权重强调模态特定特征，以促进跨模态语义对齐。其次，为了提高全局-局部特征耦合，我们提出了动态多层特征提取（DMFE），它结合动态卷积和自适应感受野来提取局部细节特征，而SingleMamba（S-Mamba）捕获长距离依赖关系以增强全局语义。第三，为了增强跨模态互补性和全局-局部融合耦合，我们提出了差分渐进式Mamba融合（DPMF）。

它采用通道交换融合（CEF）与S-Mamba来细化细粒度局部细节，并采用密集Mamba融合（DMF）与多模态Mamba（M-Mamba）来建模长距离依赖关系并强化全局上下文语义。我们的主要贡献总结如下：

•

DCMamba结合动态卷积和Mamba来校正错位图像并强化全局-局部耦合。

•

PDR通过差分加权估计多尺度变形场，有效校正空间畸变和伪影。

•

DMFE结合全维度动态卷积和S-Mamba，改进了细粒度和长距离特征的提取。

•

DPMF通过CEF和DMF实现差分融合，共同增强融合的互补性和语义完整性。

部分内容

联合图像配准与融合

联合图像配准与融合旨在校正错位并生成具有丰富纹理和显著结构的融合图像。早期研究[25] [31] [32]将配准和融合视为两个阶段的任务。黄等人[31]采用了双阶段循环注意力学习JIRF框架。李等人[32]将图像配准嵌入到特征提取阶段，然后进行图像融合。然而，这些方法忽略了跨模态差异和联合优化，通常导致

动机与概述

现有的红外和可见光图像配准与融合框架在对齐的图像对上表现良好，但忽略了长距离特征依赖性和细粒度局部细节。与以往的方法不同，我们提出了DCMamba，一种全局-局部耦合的配准与融合网络，如图3所示。给定源可见光图像和源错位红外图像作为输入。错位的图像对被首先输入到配准网络$N_R$

数据集

我们在广泛使用的多光谱道路场景（MSRS）数据集[58]上训练了所提出的DCMamba，该数据集包含1444对高质量红外-可见光图像（715对白天和729对夜间），涵盖九个类别。按照默认划分，1083对用于训练，361对用于测试。为了全面评估配准精度、融合质量和语义分割性能，我们在三个数据集上进行了实验：MSRS（361对）、TNO（42对）[59]和M3FD

结论

在这项工作中，我们提出了DCMamba，一个统一的框架，用于融合错位的多模态图像，同时增强局部纹理细节和全局上下文语义。首先，PDR利用差分加权逐步估计最佳变形场，有效校正空间畸变。其次，DMFE结合全维度动态卷积和Mamba，通过平衡细粒度细节和长距离依赖关系来强化特征耦合。第三，

CRediT作者贡献声明

张云德：撰写——原始草稿、概念化、数据管理、形式分析、调查、方法论、软件开发、验证、可视化、撰写——审阅与编辑。孔军：监督、资金获取。陶学峰：调查、可视化、撰写——审阅与编辑。卢明：调查、可视化、撰写——审阅与编辑。姜敏：监督、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

本工作部分得到了国家自然科学基金（项目编号62,371,209和62371208）、B12018项目下的111个项目以及江苏省研究生研究与实践创新计划（中央高校基本研究经费）（KYCX24_2515）的支持。