OrthoMamba：基于正交注意力机制的多源遥感图像融合分层空间建模方法

《Advances in Space Research》：OrthoMamba: Hierarchical Spatial Modeling with Orthogonal Attention for Multi-source Remote Sensing Image Fusion

　　

崔现代|蔡文文|张莉

• •
  一种用于多模态遥感图像分类的新型深度学习框架。
• •
  引入了正交注意力Mamba模块，以实现二维上下文感知。
• •
  采用分层交互编码器来弥合跨尺度的语义差距。
• •
  在多种任务和数据集上展现出强大的泛化能力。

引言

多模态遥感图像结合了光学、SAR和LiDAR的数据，为精确的地球观测带来了革命性变化（Wang等人，2025年）。这种数据融合提供了互补的信息流，降低了单一模态存在的局限性，比如光学图像中的云层遮挡或SAR的几何复杂性问题，从而提升了土地覆盖测绘、环境监测和城市规划等的准确性和可靠性（Zhang等人，2025a年）。在这些任务中，准确的图像分类是支撑众多应用的基础性挑战（Wan等人，2025年）。

得益于深度学习的突破，多模态遥感分类取得了新的性能提升，其中卷积神经网络（CNNs）（Zhou等人，2024年；Tao等人，2024年）、图神经网络（GNNs）（Katiyar和Manian，2024年）以及变换器模型（Transformers）（Tao等人，2025年；Cui，2025年）处于领先地位。其中，视觉变换器变体在计算机视觉和遥感任务中都取得了显著进展。例如，Wang（Wang等人，2022年）提出了一种名为SST-Former的新模型，即光谱空间时间变换器，专门用于高光谱图像的变化检测。传统的卷积神经网络主要侧重于空间特征，往往忽视高光谱数据中丰富的光谱和时间信息。而SST-Former则能够明确捕捉光谱、空间和时间这三个维度，这是通过精心设计的变换器架构实现的。

然而，这样的高精度是以高昂的计算成本为代价的。变换器的自注意力机制随着图像尺寸的增加而呈现二次方复杂度，这给高维遥感图像的处理带来了可扩展性瓶颈（Li等人，2024年）。因此，人们开始寻找既具有表达能力又高效能的架构。在这种背景下，状态空间模型（SSMs），尤其是以Mamba为代表的选择性SSM（Gu和Dao，2024年），成为一种极具前景的解决方案。由于结合了线性序列缩放和有效的远距离依赖建模，SSM在语言建模领域展现了出色的性能，它们也为视觉任务提供了另一种选择，有望克服变换器的计算障碍，同时保持强大的上下文理解能力。

不过，将像Mamba这样的1D SSM直接应用于视觉任务会存在结构上的不匹配：顺序扫描与图像的二维特性相冲突（Zhu等人，2024c年）。这一问题主要体现在两个方面。首先，单向扫描会带来强烈的方向性偏差，削弱重要的空间等变性，使得分类结果依赖于扫描方向而非物体的固有空间特征。其次，这一过程会导致上下文碎片化，即场景中连贯的二维几何结构被分解为1D序列，这使得模型无法整体整合定义物体空间关系的信息，比如建筑物的封闭轮廓或道路系统的相互连接网络，从而导致无法获取准确解读所需的关键信息。

即便有了良好的空间建模能力，遥感场景的层次结构又带来了另一个挑战。景观本质上由不同粒度的物体组成，从大范围区域（如城市中心和森林），到局部集群（如建筑群和农田），再到单个物体（如单独的车辆或树木）。这种结构要求模型具备精细的多尺度理解能力，不仅要提取不同分辨率的特征，还要将这些特征有效地整合起来。然而，目前常用的FPNs（Lin等人，2017年）和U-Nets（Ronneberger等人，2015年）往往缺乏有效的跨尺度交互，这就导致了不同尺度之间的语义差距——丰富的高层语义无法有效指导细粒度特征的优化，而细粒度特征又不足以修正和丰富粗尺度层面的理解。因此，模型理解和描述复杂层次结构的能力受到极大限制，在那些需要综合考虑上下文和细节的场景中，分类结果往往不够准确。

为了解决这两个问题，我们提出了OrthoMamba，它包含两项核心创新：首先，我们引入了正交注意力机制，将二维上下文分解为相互正交的方向，即水平方向的Mamba路径和垂直方向的变换器路径，以此消除方向性偏差，实现全面的空间感知，从而解决视觉任务中状态空间模型的根本局限性。其次，我们设计了分层交互编码器，该编码器通过门控融合机制实现不同特征尺度之间的强双向交互，有效弥合语义差距，帮助模型深入理解层次结构。综上，OrthoMamba为多模态遥感图像分类提供了一种强大且高效的新方法。

本文的主要贡献如下：

1) OrthoMamba：我们提出了一种全新的深度学习框架，该框架将正交注意力Mamba模块与分层交互编码器相结合，以此克服多模态遥感分类中的关键难题。这一架构解决了单向状态空间模型在空间建模方面的缺陷，同时弥合了不同特征尺度之间的语义差距，为二维上下文理解建立了新的范式。在Muufl、休斯顿大学和奥格斯堡三个多源遥感数据集上，OrthoMamba在分类精度方面均优于现有的最先进方法。

2) 正交注意力Mamba（OAM）模块：该模块通过沿着相互正交的方向，即水平方向和垂直方向，建模空间注意力依赖关系，从而解决了Mamba的单向性缺陷，实现了全面的二维上下文感知。

3) 分层交互编码器（HIE）：HIE结合了块注意力机制（用于捕捉窗口内的局部依赖关系）和棋盘格注意力机制（用于建模分散位置之间的长距离上下文关系），并通过门控机制将这些机制整合在一起。这样的设计实现了有效的跨尺度交互与融合，从而弥合了不同特征尺度之间的语义差距。

4) 在多种遥感任务中的广泛应用：OrthoMamba在来自不同数据分布的遥感数据集上都具有出色的泛化能力——比如帕维亚大学的非光谱数据集和弗莱沃兰德的PolSAR数据集——其性能始终优于众多成熟的基准方法。这表明该框架不仅适用于多模态场景，还能有效应用于各种不同的遥感任务中。

本文的结构安排为：第二部分回顾相关文献，第三部分详细阐述OrthoMamba的方法论，第四部分展示实验结果并进行深入分析，第五部分则对全文进行总结，并指出未来的研究方向。

章节要点

相关研究

本节回顾了构成我们方法基础的关键研究领域。

OrthoMamba概述

图1展示了OrthoMamba框架的整体架构，本节将对这一架构进行简要介绍。

定义：

图像块：为提高计算效率，遥感图像会被处理成以像素为中心的图像块集合，利用局部空间上下文来辅助对每个中心像素的分类。

SSM：状态空间模型是一种用于处理序列数据的动态框架，它将序列数据视为具有随时间变化的潜在状态的连续时间系统。

数据集

我们对OrthoMamba的实验评估使用了五个涵盖不同 sensing模态的遥感基准数据集：三个多光谱场景（Muufl、休斯顿大学和奥格斯堡），一幅拍摄于帕维亚大学的非光谱图像，以及来自弗莱沃兰德地区的极化SAR数据集。

(1) Muufl数据集

该图像的 spatial范围为325×220像素，地面分辨率為1米。该数据集包含72个光谱带的高光谱图像，此外还有

模块消融实验

在Muufl数据集上进行的消融实验（表12）表明，OrthoMamba中的每个模块都对性能有着独特的贡献。一旦去掉某个模块，所有指标的性能都会下降，这凸显出这些模块的共同重要性。

当完全去掉分层交互UNet组件时（模型2），整体精度下降到93.69%，这一结果充分体现了该组件在整合和恢复各特征方面的关键作用。

不同模态的贡献分析

如表13所示，从OrthoMamba中去除任何一种模态都会降低在Muufl数据集上的性能，这证明所有模态都发挥着重要作用。仅使用HSI就能获得较高的分类精度（95.88%的客观精度），这是因为HSI具有丰富的光谱特征，有助于区分不同的土地覆盖类型。相比之下，仅使用LiDAR时的精度仅为89.57%，这表明尽管LiDAR能提供有用的3D结构信息，但单独使用它存在局限性。而将HSI和LiDAR结合使用的完整系统则实现了

讨论

虽然OrthoMamba在所有基准数据集上都能获得最高的精度，但仔细分析错误分类的像素后，可以发现一些反复出现的模式，这些模式有助于我们了解该模型的行为特点和局限性。在Muufl数据集中，最常见的错误发生在“建筑物”和“建筑物阴影”之间。从光谱特征来看，阴影在所有波段上的反射率都较低，因此容易与颜色较深的建筑材料混淆；不过，LiDAR能够提供高度信息，有助于区分真正的建筑物。

结论

本文提出了一种名为OrthoMamba的新型深度学习框架，该框架有效解决了多模态遥感图像分类中的两个关键问题：单向状态空间模型在空间建模方面的局限性，以及多尺度特征表示中的语义差距。该框架通过将正交注意力机制与选择性状态空间模型相结合，实现了全面的双向上下文建模，同时还保持了较高的计算效率。

未引用参考文献

Li等人，2024a年；Li等人，2024b年；Zhu等人，2024a年。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢

本研究的部分工作得到了中国国家自然科学基金（NSFC）的支持，项目编号为62304074。