SO-Mamba: 面向子任务的以 Mamba 为核心的遥感图像变化检测网络

《Neurocomputing》：SO-Mamba: Sub-task oriented Mamba-centric network for change detection of remote sensing image

　　

摘要

遥感影像（RSI）变化检测（CD）通过分析多时相高分辨率影像来识别地表变化，需要具备高效长程表示能力的深度学习模型来处理目标的离散分布特征。虽然Mamba架构凭借线性计算复杂度在变化检测领域引起了越来越多的关注，但现有的基于Mamba的方法仍以架构为导向，着重于提升Mamba的通用能力，而未能充分挖掘变化检测在不同处理阶段的任务特性。为弥补这一不足，我们提出了子任务导向的Mamba核心网络（SO-Mamba），将设计理念从增强Mamba转变为使Mamba与变化检测的内在需求相匹配。具体而言，SO-Mamba将变化检测任务分解为对应渐进式处理阶段的三个互补子任务，并建立专用的基于Mamba的模块，将Mamba的顺序建模能力适配到各阶段的差异化功能需求。Mamba核心交互模块在Mamba框架内构建双分支非对称残差结构，以引导双时相特征的全局交互。Mamba核心边缘聚焦差异模块将所提出的频率增强Mamba与边缘算子相结合，以提取富含边缘特征的差异信息。Mamba核心注意力重构模块将双重注意力机制与长序列表示机制相融合，以动态重构具有精细特征细节的目标。在三个基准数据集上的实验表明，SO-Mamba相较于现有方法取得了显著的性能提升，证实了任务级专业化是比通用架构增强更有效的基于Mamba的变化检测范式。

引言

遥感影像（RSI）变化检测（CD）通过分析多时相高分辨率遥感影像中的差异特征来识别地表物体的动态变化，在城市规划、灾害评估和生态监测等领域具有重要的不可替代价值。随着深度学习技术的发展，变化检测任务正从人工特征工程 [1]、[2] 向数据驱动学习 [3]、[4] 转变。在数据驱动的学习检测范式下，卷积神经网络（CNNs）[5]、[6] 和 Transformer [7]、[8] 分别成为变化检测任务中局部特征提取和全局依赖表示的突出架构。

传统CNN已成为变化检测任务中局部特征提取的基石架构 [9]、[10]。通常，Daudt等人 [11] 首次将全卷积网络 [12] 应用于变化检测任务，解决了传统变化检测在精度和效率方面的瓶颈，从而确立了CNN作为变化检测网络关键组成部分的地位。一种深度监督的图像融合网络 [13] 提出了基于双分支CNN的层级特征提取和深度监督CNN训练机制，进一步探索了CNN在变化检测任务中的应用。然而，受限于CNN的局部感受野特性，基于CNN的变化检测模型在全局上下文信息表示方面表现有限。

基于Transformer的架构 [14]、[15]、[16]、[17]、[18] 通过自注意力机制实现了显著的全局上下文感知。通常，ChangeFormer [19] 通过将层级Transformer编码器与MLP解码器相结合，突破了传统全卷积网络的局限性。BIT [20] 提出了一种双时相图像Transformer，在时空域中实现了有效的上下文信息表示，并进一步探索了Transformer模型在变化检测任务中的应用。由于自注意力机制的计算复杂度为二次方，基于Transformer的变化检测架构在处理高分辨率遥感影像时面临巨大的计算成本。

近期，基于状态空间模型（SSM）[21] 的Mamba架构 [19] 为解析高分辨率遥感影像提供了一种新范式，因为它在捕捉长程依赖的同时保持了线性的计算效率。遥感影像的变化目标通常具有离散分布特征。Mamba的选择性状态空间机制会根据序列中每个像素自适应地调整状态转移参数，并以内部隐藏状态作为动态时空记忆来处理双时相融合序列。这样一来，基于Mamba的模型能够自主决定是保留真实的变化信号还是缓解虚假变化带来的干扰。此外，变化检测对目标的边缘完整性和轮廓连续性要求较高。Mamba的长序列扫描机制有效地模拟了连续的像素级建模，提高了遥感影像变化检测任务中的边缘检测精度。ChangeMamba [22] 首次将Mamba框架引入变化检测任务，并设计了时空联合结构以促进跨时相特征交互。ConMamba [23] 初步探索了CNN-SSM混合架构在变化检测任务中的有效性和前景。尽管现有的基于Mamba的变化检测方法 [24]、[25]、[26]、[27]、[28] 已对架构优化进行了广泛探索，但往往对变化检测任务的独特特性缺乏足够关注。

在本文中，我们识别了变化检测不同处理阶段的差异化任务特性，并将变化检测任务分解为三个子任务，包括双时相特征交互、差异信息提取和目标细节重构。相应地，我们开发了子任务导向的Mamba核心模块，以提高Mamba在变化检测任务特性方面的适应性。首先，所提出的Mamba核心交互模块（MIM）通过扩展Mamba的选择性交互开发了双分支非对称残差块，实现了多阶段深度的双时相特征交互。其次，所提出的Mamba核心边缘聚焦差异模块（MEDM）将频率增强Mamba与边缘约束差异块相结合，缓解了差异特征提取中的轮廓模糊问题。第三，所提出的Mamba核心注意力重构模块（MARM）在Mamba的序列表示框架内融合了空间和通道注意力，动态地精化细节重构。基于三个子任务导向的Mamba核心模块，我们构建了U形架构，形成了SO-Mamba网络。主要创新点如下：

• •
  在架构方面，我们提出了一种新颖的子任务导向Mamba核心网络，名为SO-Mamba，以优先考虑变化检测的任务特性。具体而言，我们将变化检测任务分解为三个子任务，包括双时相特征交互、差异信息提取和目标细节重构。相应地，我们提出了三个子任务导向的Mamba模块以适配各子任务的特性。此外，我们构建了将三个模块整合为一个连贯网络的U形架构，以提高变化检测的精度。
• •
  所提出的Mamba核心交互模块通过融合Mamba块建立了基于双分支非对称残差块的多阶段交互架构。在MIM中，我们利用设计的孪生网络提取时间相关信息。重要的是，长程交互信息通过选择性Mamba部分进行连接，从而实现双时相遥感影像之间的深度全局交互。此外，我们利用时间独立结构引导来精化全局特征，有利于变化信息的提取。
• •
  所提出的Mamba核心边缘聚焦差异模块构建了结合二阶边缘算子的频率增强Mamba结构，以提取边缘约束的差异特征。边缘感知机制充分发挥了Mamba在捕捉细节信息方面的能力，从而缓解了差异提取过程中边缘细节的丢失。
• •
  所提出的Mamba核心注意力重构模块在Mamba内部设计了双重注意力机制，通过空间和通道维度精化细节重构。双维度精化显式扩展了Mamba基于序列的表示机制的感知维度，从而显著提高了目标变化生成的精度。

章节摘要

基于CNN和基于Transformer的变化检测模型

在变化检测任务的局部特征提取方面，基于CNN的架构代表了主流方法。在基于CNN的方法中，全卷积孪生网络（FC-EF）模型 [11] 构成了深度学习在变化检测任务中的开创性应用。SEIFNet [29] 系统性地解决了传统CNN方法在复杂场景下变化遗漏和边缘模糊的挑战。该方法采用了时空特征增强和跨层次特征融合策略

架构概述

图1展示了所提出的SO-Mamba网络的流程图。首先，如图1左侧所示，我们将变化检测任务分解为三个初步子任务，包括双时相特征交互、差异信息提取和目标细节重构。相应地，在图1右侧分别建立了三个指定的Mamba核心模块与上述子任务一一对应。基于所提出的三个模块，我们提出了

数据集描述

LEVIR-CD [43] 包含637对双时相高分辨率影像，影像间的采集时间跨度为5至14年。每幅影像的地面采样距离为每像素0.5米，分辨率为1024 $$ 1024像素。该数据集包含多种建筑类型，如别墅、高层公寓、小型车库和大型仓库等。由于采集时间和光照条件的变化，该数据集表现出明显的季节性差异，这

结论

在本工作中，我们提出了一种新颖的任务导向架构SO-Mamba，该架构优先考虑了变化检测的任务特定挑战，并将变化检测任务分解为三个子任务。首先，我们提出了MIM来解决双时相特征交互子任务。MIM设计了时序对应的残差块来辅助Mamba的选择性交互，实现了双时相影像内部的深度特征交互。其次，我们提出了MEDM来解决差异信息

CRediT作者贡献声明

于春燕： 撰写—审阅与编辑，撰写—原稿，方法论，概念化。张振豪： 撰写—审阅与编辑，撰写—原稿，软件，方法论。张强： 指导，概念化。王雨雷： 可视化，验证。余浩阳： 指导，资源。

利益冲突声明

作者声明他们不存在可能影响本文所报告工作的已知竞争性经济利益关系或个人关系。

于春燕 于2012年在中国大连海事大学获得环境工程博士学位。她目前任教于大连海事大学信息科学与技术学院。她的研究方向包括图像分割、高光谱图像分类和模式识别。

于春燕|张振豪|张强|王雨雷|余浩阳