MET-FR：一种基于Mamba增强Transformer与特征矫正的高光谱及激光雷达数据融合与分类方法

《Pattern Recognition》：MET-FR: Mamba-enhanced Transformer with feature rectification for hyperspectral and LiDAR data fusion and classification

　　

提出了一种带有特征校正的Mamba增强Transformer（MET-FR）。提出了一种双层嵌套Transformer以提取HSI特征。设计了一个残差空间自校正模块和一个局部特征混合模块。设计了一个特征校正融合模块。与一些最先进（SOTA）方法相比，MET-FR取得了具有竞争力的结果。

**引言**

在遥感（RS）技术进步的推动下，地球观测已进入以多平台、多传感器和多角度观测为特征的发展阶段[1]。覆盖相同地理区域的多传感器数据的日益可用性，大大扩展了在不同传感器模态下对地表特征进行同步监测的能力[2]。在此背景下，高光谱图像（HSI）作为一种关键的遥感数据源，通过其丰富的光谱信息提供了详细的土地特征表征。相反，光检测与测距（LiDAR）捕获了特征固有的结构和高程信息。HSI和LiDAR具有强互补性，信息特征差异显著。通过协同结合这两种数据源进行土地特征分析，可以有效地整合它们各自的优势并弥补各自的局限性。这种融合增强了智能处理算法的能力，从而实现更精确的土地利用/土地覆盖（LULC）分类[3]。

结合HSI和LiDAR数据的融合分类方法研究引起了越来越多的关注，并取得了显著进展。早期研究主要采用传统图像处理技术进行数据融合。Pedergnana等人[4]研究了形态属性轮廓（MAPs）在HSI和LiDAR数据中的应用，通过融合光谱、空间和垂直信息实现LULC分类。Xue等人[5]将不同特征建模为多个三阶张量，并定义了一种耦合高阶张量分解模型以促进其联合分解。Ghamisi等人[6]提出了一种新的HSI和LiDAR数据融合框架，融合了消光轮廓（EPs）、局部二值模式和核协作表示分类。总体而言，传统方法表现出对人工特征提取的严重依赖。此外，虽然这些技术可以辅助降维，但它们往往缺乏足够的泛化能力。这一局限性凸显了需要进一步研究以提高从多源遥感数据中提取特征的精度。

机器学习社区见证了用于建模复杂非线性模式的数据驱动方法在不同科学领域的快速涌现。神经网络以其各种架构形式，展示了从高维数据中学习层次化特征抽象的显著能力[7]，[8]。高斯过程回归提供了一种有原则的贝叶斯框架，用于感知不确定性的非线性建模，在地球观测研究中常见的小样本场景中尤其有效[9]，[10]。图形建模技术提供了优雅的工具，用于发现并表征高维特征空间内的结构关系，促进了可解释的知识提取[11]，[12]。此外，集成和组合学习方法通过整合多个基模型来增强鲁棒性和泛化能力，已在众多应用领域证明其高度有效，包括环境建模和社会经济预测[13]，[14]。

深度学习（DL）理论在计算机视觉（CV）领域的突破性进展，推动了对遥感数据分析应用范式的转变。与传统手工特征设计的局限性相比，这种数据驱动的特征学习机制在遥感图像分类等任务中表现出显著优势。其在多模态协同分析场景中的影响尤为突出，显著增强了异构数据之间的信息互补性。因此，深度学习已演变为多源遥感数据解译的核心技术路径。Xu等人[15]提出了一种双分支卷积神经网络（TBCNN）框架以从HSI中提取光谱空间特征。同时，他们设计了一种包含级联块的卷积神经网络（CNN）以从LiDAR或高分辨率光学图像中提取特征。Wu等人[16]提出了一种新的基于CNN的多模态遥感数据分类框架（CCR-Net），利用跨模态重建策略学习更紧凑的融合表示，从而促进不同遥感源之间的有效互信息交换。Wang等人[17]提出了一种多注意力层次密集融合网络（MAHiDFNet）用于HSI和LiDAR融合分类，采用空间-光谱-高程三分支框架结合注意力模块来增强融合特征的效果。Feng等人[18]提出了一种动态尺度层次融合网络（DSHFNet），通过在尺度空间中计算和评估特征相似度来动态选择最优尺度特征，有效解决了单尺度特征表示不足和多尺度特征维度过大的问题。

尽管基于CNN的方法取得了显著进展，但其设计主要针对二维图像。这些方法主要依赖于在局部空间窗口内运行的二维卷积核。这一固有设计约束使其难以有效应对HSI复杂光谱维度与LiDAR固有三维结构信息相结合的高度异构跨模态融合任务。其中，Transformer因其卓越的长程特征依赖建模能力而引起了显著的研究关注。然而，虽然标准视觉Transformer（ViTs）擅长捕获全局上下文，但它们通常统一处理空间和光谱token，这忽略了高光谱数据中光谱波段的固有顺序性。这一局限性阻碍了它们充分利用HSI中丰富的光谱信息的能力，在HSI中相邻波段高度相关。Mamba通过选择性状态空间和硬件感知设计突破了这一瓶颈，其循环结构天然适合处理有序的光谱序列。

基于此，我们提出了一种带有特征校正的Mamba增强Transformer（MET-FR），用于HSI和LiDAR数据融合与分类。本工作的主要贡献概述如下：

(1) 提出了一种带有特征校正的Mamba增强Transformer（MET-FR），它采用特征校正融合模块有效整合多传感器特征，利用其互补优势实现最优分类性能。

(2) 提出了一种双层嵌套Transformer以提取HSI特征。分别使用内部Mamba编码器和外部Transformer编码器处理HSI，充分利用不同维度特征以实现全面信息利用。

(3) 设计了一个新的LiDAR数据特征提取模块，通过残差空间自校正模块和局部特征混合模块捕获全局和局部特征，有效捕获结构和细节信息。

(4) 在三个真实的多源遥感数据集上进行的实验表明，所提方法优于多种最先进技术，凸显了其在性能上相比现有SOTA方法的显著优势。

本文其余部分组织如下：第2节回顾了关于ViT和Mamba用于LULC分类的相关工作。第3节介绍了所提出的框架及其新颖模块。第4节详细描述了实验设置，呈现了对结果的综合分析，并讨论了消融研究。最后，第5节对本文进行了总结。

**ViT用于LULC分类**

Transformer最初被提出用于机器翻译，与RNN和CNN的根本区别在于它仅依赖自注意力（SA）机制来捕获序列元素之间的全局依赖关系[19]。SA使用从输入序列派生的查询（Q）、键（K）和值（V）矩阵来计算注意力分数：Attention(Q,K,V)=Softmax(QK^T/d)·V，其中d表示键向量的维度，Softmax表示用于将注意力分数归一化的标准化指数函数。

**整体架构**

所提出的方法引入了一种带有特征校正的Mamba增强Transformer框架，如图1所示。对于HSI特征，分别进行空间分词和光谱分词，然后使用Mamba增强Transformer进行特征提取。对于LiDAR数据，首先使用残差空间自校正模块和局部特征混合模块增强特征，然后在空间上进行分词，最后进入传统视觉Transformer进行特征提取。

**数据集描述**

(1) Houston2013：Houston2013数据集在2013年IEEE GRSS数据融合竞赛中发布[32]。它覆盖了休斯敦大学校园及周边城市区域，由2012年机载CASI-1500传感器采集。图像尺寸为349×1905像素，空间分辨率为2.5米。高光谱图像包含144个光谱波段，范围为0.38至1.05微米。总共包含15,029个标注样本，涵盖15个土地覆盖类别。

(2) Trento：Trento数据集……

**结论**

本文提出了MET-FR，一种用于HSI和LiDAR融合的带有特征校正的Mamba增强Transformer。该框架引入了三项创新：用于HSI的嵌套Mamba-Transformer编码器、双模块LiDAR特征提取器以及特征校正融合模块。在三个数据集上的实验取得了最先进的性能，整体精度（OA）分别为93.79%（Houston2013）、99.04%（Trento）和92.73%（MUUFL），大幅优于现有方法。消融实验和有限数据实验……

**CRediT作者贡献声明**

冯逸宁：撰写——初稿，方法论，概念化。程维：验证，数据管理。穆振华：形式分析，数据管理。宋传明：撰写——审阅与编辑，资金获取，形式分析。王湘海：监督，资金获取，概念化。

**利益冲突声明**

作者声明不存在可能影响本文报告工作的已知竞争经济利益或个人关系。

**致谢**

本研究得到了国家自然科学基金（批准号42371338）、辽宁省教育厅重点科学研究项目（批准号JYTZD2023101）以及大连大学学科建设专项（学科交叉方向建设项目）（批准号：大连大学学科建设通知2025[006]）的资助。作者感谢2013年IEEE GRSS数据融合竞赛的组织者提供数据……

冯逸宁 | 程维 | 穆振华 | 宋传明 | 王湘海