EnMambaHSI：用于高光谱图像分类的增强型多尺度时空混合Mamba网络

《Neurocomputing》：EnMambaHSI: Enhanced multi-scale spatial-spectral mamba network for hyperspectral image classification

　　

摘要

近年来，随着Mamba架构的引入，高光谱图像分类取得了显著进展。该架构能够在保持线性计算复杂度的同时学习长距离依赖关系。然而，现有的基于Mamba的高光谱图像分类方法在处理多尺度空间特征以及保持光谱连续性方面存在局限性。为解决这些问题，本文提出了一种新的MambaHSI分类方法，并进行了三项改进：（1）改进的多尺度空间Mamba模块，可在保持线性复杂度的同时捕捉多尺度空间特征；（2）改进的光谱Mamba模块，通过组间交互来保持光谱连续性；（3）自适应融合模块，可学习空间与光谱特征的最佳融合权重。在四个基准数据集上的大量实验表明了该方法的有效性。具体而言，该方法在Pavia大学、Houston、Hanchuan、Honghu、Longkou和Botswana数据集上的整体准确率分别达到了97.54%$$0.81%、95.13%$$0.83%、94.37%$$0.64%、96.59%$$0.25%、97.70%$$0.64%和99.58%$$0.23%，相比MambaHSI分别提升了1.80%、0.67%、4.16%、2.01%、1.21%和0.24%。全面的消融实验显示，多尺度空间Mamba模块的贡献最为显著，在前四个数据集上相比基线方法提升了88.68%、85.19%、86.19%和92.21%，而自适应融合模块则在所有数据集上带来了1.70%$$2.59%的性能提升。所提出的模型在多种高光谱分类场景中均表现出优异性能，同时保留了Mamba架构的线性计算复杂度优势。

引言

高光谱成像技术能够捕获连续波长范围内的详细光谱信息，为环境监测、精准农业和城市规划等应用提供了宝贵的数据资源[1]、[2]、[3]。丰富的光谱特征与有限的标注样本为有效的物质识别和场景理解带来了巨大挑战[4]、[5]。深度学习方法彻底改变了高光谱图像分类领域的发展态势，从卷积神经网络[6]、[7]发展到基于Transformer的架构[8]、[9]。虽然CNN擅长提取局部空间特征，但其有限的感受野限制了其建模长距离空间依赖关系的能力[10]。Transformer通过自注意力机制克服了这一局限，但其二次方的计算复杂度给高分辨率高光谱图像的处理带来了很大困难[11]、[12]。

近期，状态空间模型，尤其是Mamba[13]，作为一种有前景的替代方案出现，它结合了Transformer的长距离学习能力与循环模型的线性计算复杂度。MambaHSI[14]的问世标志着在将Mamba应用于高光谱图像分类方面取得了重大进展，它在保持计算效率的同时实现了优异的性能。MambaHSI在Pavia大学、Houston、Hanchuan和Honghu数据集上的整体准确率分别为95.74%、94.46%、90.21%和94.58%，超过了大多数基于Transformer的方法。尽管取得了这些进展，目前的MambaHSI方法仍存在若干关键局限：（1）仅在单一尺度下处理空间信息，无法捕捉高光谱场景中大范围感兴趣区域的多尺度特征；（2）光谱Mamba模块通过独立处理各光谱组，可能会丢失重要的组间光谱连续性；（3）虽然采用了自适应融合机制，但该融合机制缺乏更复杂的特征增强策略。

为解决这些问题，本文提出了改进型的MambaHSI（EnMambaHSI）模型，并进行了三项改进。首先，我们设计了改进的多尺度Mamba（EMSM）模块，它将多尺度卷积与Mamba处理相结合。该设计能够在保持Mamba线性复杂度优势的同时，捕捉不同尺度（3 $$ 3、5 $$ 5、7 $$ 7）的空间特征，从而更好地区分不同大小的感兴趣区域。其次，我们提出了改进的光谱Mamba（ESM）模块，它通过引入光谱组间的交互作用，克服了现有光谱处理方法的局限性。该设计在保持计算效率的同时，既保持了光谱连续性，又提升了对复杂光谱关系的建模能力。最后，我们引入了自适应融合（AF）模块，该模块可以学习结合空间与光谱特征的最佳权重。与固定的融合策略不同，我们的方法能够根据不同的数据集和场景进行调整，充分利用空间与光谱信息的互补优势。该方法在Pavia大学、Houston、Hanchuan、Honghu、Longkou和Botswana数据集上的整体准确率分别为97.54%$$0.81%、95.13%$$0.83%、94.37%$$0.64%、96.59%$$0.25%、97.70%$$0.64%和99.58%$$0.23%，相比MambaHSI分别提升了1.80%、0.67%、4.16%、2.01%、1.21%和0.24%。本文的主要贡献如下：

• •
  提出了改进型的MambaHSI方法EnMambaHSI，它系统地将多尺度空间处理与Mamba相结合用于高光谱图像分类，同时保持了线性计算复杂度。
• •
  设计了三种改进模块，包括用于多尺度空间学习的EMSM模块、具有组间交互作用的用于改进光谱处理的ESM模块，以及用于自适应空间-光谱融合的AF模块。
• •
  在六个基准数据集上进行了全面实验，与现有方法相比，准确率有了显著提升。

本文的其余部分结构如下。第2节将介绍与本研究相关的现有方法。第3节将提出EnMambaHSI模型。第4节将对实验结果进行详细阐述和分析。最后，第5节对全文进行总结。

章节片段

高光谱图像分类

高光谱图像分类方法大致可分为基于机器学习、基于图卷积网络、基于卷积神经网络以及基于Transformer的方法。近年来，各类方法在效率优化、多尺度学习以及跨领域适配方面取得了显著进展。不过，一些技术难题依然存在。

早期的方法采用传统的机器学习技术，如随机森林[11]和支持

EnMambaHSI的整体架构

所提出的EnMambaHSI模型的整体架构如图1所示。它采用编码器-分类器结构，由输入嵌入层、三级分层编码器、分类网络以及分辨率恢复模块组成。对于输入维度为$$的高光谱图像，通过1 $$ 1卷积进行像素级嵌入，从而得到大小为$$的特征表示，其中$$代表嵌入维度。该模型逐步提取

实现细节

所提出的EnMambaHSI模型是用PyTorch实现的，并在NVIDIA RTX 3090 GPU上进行训练。该模型的隐藏维度为$$，光谱组的数量设置为$$，并且使用了4层组归一化处理。训练过程采用交叉熵函数，并使用学习率为$$的Adam优化器，共训练200个周期。值得注意的是，EnMambaHSI直接以整幅图像作为输入，而非通过滑动窗口裁剪图像块。该模型直接输入

结论

本文提出了EnMambaHSI，这是一种新模型，它能显著提升现有基于Mamba的高光谱图像分类方法的性能。我们介绍了三个关键模块：用于多尺度空间学习的EMSM模块、具有组间交互作用的ESM模块，以及用于自适应融合的AF模块。在六个基准数据集上的大量实验验证了该模型的有效性，尤其在农业场景中表现突出，其在Hanchuan数据集上的准确率提升了4.16%

CRediT作者贡献声明

张新明：撰写——初稿。高鹏：撰写——初稿。秦文华：撰写——审阅与编辑。王飞：撰写——初稿。藤田哈米多：撰写——审阅与编辑。袁如月：撰写——初稿。

资助情况

本研究部分得到了中国广东省基础与应用基础研究基金（项目编号2024A1515140010）、中国博士后科学基金会（项目编号2023M732022）以及中国山东省重点研发计划（项目编号2024TSGC0755）的支持。

利益冲突声明

作者声明不存在任何可能影响本文所述工作的已知利益冲突或个人关系。

张新明于2023年在中国曲阜师范大学获得学士学位，目前在该校攻读计算机技术硕士学位。他的研究兴趣包括计算机视觉和图像处理。

Xin-Ming Zhang|Peng Gao|Wen-Hua Qin|Fei Wang|Hamido Fujita|Ru-Yue Yuan