一种混合的CNN-Mamba架构,结合了多尺度和动态窗口聚合技术,用于高光谱图像分类

《Neurocomputing》:A Hybrid CNN–Mamba Architecture with Multiscale and Dynamic Window Aggregation for Hyperspectral Image Classification

【字体: 大 中 小 】 时间:2026年05月07日 来源:Neurocomputing 6.5

编辑推荐:

  塔希尔·阿尔沙德(Tahir Arshad) 沙特阿拉伯达兰国王法赫德石油与矿业大学(King Fahd University of Petroleum and Minerals,KFUPM)与SDAIA联合人工智能研究中心(JRC-AI) **摘要** 高光谱图像

  塔希尔·阿尔沙德(Tahir Arshad)
沙特阿拉伯达兰国王法赫德石油与矿业大学(King Fahd University of Petroleum and Minerals,KFUPM)与SDAIA联合人工智能研究中心(JRC-AI)

**摘要**
高光谱图像(HSI)分类面临着巨大的挑战,因为数据具有高维性和复杂的光谱-空间依赖性。为了解决这些挑战,我们提出了一种混合多尺度CNN-Mamba网络,并结合动态窗口聚合技术,以实现高效和准确的高光谱图像分类。首先,使用多尺度CNN模块提取浅层的光谱-空间特征,同时捕捉局部纹理和结构细节。随后,动态窗口聚合模块包含全连接层和全局池化层,在基于窗口的多头自注意力机制中为不同的注意力头分配不同大小的窗口。这使得模型能够有效捕获多尺度的上下文信息。通过自适应加权窗口分支,多个尺度的输出被动态融合,然后将连接的特征传递到单次扫描的Mamba模块。利用双向扫描策略,Mamba模块增强了长距离依赖性和全局特征学习。为了进一步提升提取的特征质量,我们引入了空间通道注意力模块。此外,我们还加入了一个前馈模块,并增加了深度卷积层,以增强空间相关性同时保持计算效率。在五个公开的高光谱图像数据集(Salinas、Pavia University、Holden Carter、WHU-Hi-HongHC和中国卫星GF-5 Yancheng)上进行的广泛评估证明了该方法的有效性。结果表明,该方法在整体准确性(OA)、平均准确性(AA)和Kappa系数方面均显著优于现有方法。

**引言**
高光谱图像(HSI)收集了大量狭窄且连续的光谱带数据,提供了关于表面材料的详细信息。HSI是地球监测的重要工具,在农业[2]、矿产勘探和环境监测中得到广泛应用[1]。通过捕捉物体在广泛波长范围内的光谱特征,HSI能够实现对表面特征的精确识别和分析。近年来,深度学习(DL)在计算机视觉领域取得了显著进展,推动了大量基于DL的高光谱图像分类方法的发展[3]。为了有效结合光谱和空间信息,提出了多种改进HSI分类的方法。例如,HybridSN [4]-[5]通过整合3D和2D卷积简化了网络结构,相比2D-3D-CNN模型,不仅提高了计算效率,还在处理有限训练样本时表现出更强的鲁棒性。Paoletti等人[6]提出了一种光谱-空间胶囊模型,旨在降低传统卷积架构的复杂性。更近期的研究[7]探索了多种方法来增强光谱-空间特征的区分能力。Aptoula等人[8]使用属性轮廓同时考虑光谱和空间表示进行CNN分类。SD-Fuse[9]是一个多焦点图像融合框架,利用结构边界将焦点边界与图像内在结构对齐。通过结合基于Transformer的全局结构分支、基于CNN的局部焦点分支和结构引导的滤波器,实现了无伪影的精确融合和先进性能。为了克服标签数据不足的问题,Li等人[7]引入了一种数据增强策略,而[10]通过集成Gabor滤波器来捕捉纹理和边缘特征以提高CNN性能。此外,[11]设计了2DCNN框架来提取传感器特定特征,[12]将主成分分析(PCA)与全卷积网络结合,以细化光谱-空间特征表示。受生物系统启发的注意力机制也被引入HSI数据中,以强调信息丰富的区域[13]。然而,当将LSTM与CNN结合用于特征提取时,注意力循环卷积网络常常变得过于复杂。为此,Haut等人[13]提出了一个双分支注意力模块:一个分支生成注意力掩码,另一个分支提取卷积特征。两个分支的乘法结果产生了精细的基于注意力的特征表示。Lu等人[14]提出了一种方法,将高光谱图像的光谱反射特性与注意力机制结合以提高特征表示。与早期方法不同,他们的框架将注意力模块与交互式特征增强组件集成在一个统一的架构中。特征增强模块利用了高光谱数据立方体内的内在空间-光谱关系,从而提取出更具信息性和区分性的特征。最近的研究探索了深度学习方法(如CNN和Transformer)在感知和场景理解任务中的应用。Tong等人[15]提出了基于Transformer的多模态特征交互框架,并结合伪标签自训练来提高认知状态检测能力。此外,神经渲染与多视图立体[16]被用于实时场景感知和跟踪。其他研究采用自监督或半监督策略在标签数据有限的情况下提高感知性能,例如基于GAN的多视图立体[17]用于空中场景感知,以及领域适应技术用于雾天环境中的空中加油悬挂装置检测[18]。与这些方法相比,我们的方法侧重于高光谱图像分类,通过集成基于CNN的局部空间特征提取、基于Transformer的全局上下文建模和Mamba模块来实现高效的长距离光谱-空间依赖性学习,从而提高分类准确性和计算效率。MTG-Fusion[19]是一个多模态图像融合模型,使用视觉-语言模型生成文本引导,以更好地提取和融合共享特征和特定模态的特征。通过引入文本引导模块并利用文本监督,它在红外-可见光和医学图像融合任务中实现了先进性能。

**最近的发展**
最近,Vision Transformer(ViT)架构[20]应运而生,它基于自注意力机制和多层感知器(MLPs),成为传统模型的强大替代方案。最初用于NLP翻译中的神经机器翻译[21],ViT在计算机视觉任务中取得了显著成功,促使其在图像分析中得到应用。与CNN不同,ViT通过有效提取数据中的长距离特征提供了新的视角,解决了传统架构的局限性。利用这一优势,ViT最近被引入到HSIC中,显著提升了注意力机制的性能。基于ViT的成功,多项研究探索了其在HSI分类中的应用。Hong等人[22],[23],[24]将HSI数据视为沿光谱维度的序列数据,使用光谱组编码和ViT编码器模块捕捉细粒度光谱特征。通过结合局部和全局特征,他们的方法显著提高了感知能力。为了进一步推进基于Transformer的HSI模型,Sun等人[25]引入了Spectral Spatial Feature Tokenization Transformer(SSFTT),使用3D-2D卷积层提取浅层光谱空间特征。这些特征经过高斯加权分词器处理后传递给ViT编码器以获得更丰富的特征。Ma等人[26]引入了带有轻量级自高斯注意力(LSGA)模块的ViT架构,实现了高效的全局语义特征提取。其他工作专注于专门的光谱-空间表示模块。Yang等人[27]开发了Hyperspectral Image Transformer,它结合了光谱自适应3D CNN层用于标记投影和卷积置换器模块,有效捕捉复杂的跨维度光谱-空间相关性。Zhao等人[28]提出了Groupwise Separable Convolutional ViT(GSC-ViT),通过同时捕捉局部和全局信息,在性能和计算效率之间取得了平衡。Mei等人[29]引入了Groupwise Hierarchical Transformer(GAHT),具有分组像素嵌入模块,改进了局部光谱空间建模同时保留全局上下文。Meng等人[30]提出了GLMGT变压器模型,利用多粒度空间和光谱注意力模块在不同尺度上提取上下文信息。最近,基于状态空间模型(SSMs)的Mamba[31]成为序列建模的另一种有前景的方法。通过结合选择性机制和硬件感知实现,Mamba相对于序列长度具有线性计算复杂性,在长距离建模中表现优于Transformer。由于其强大的建模能力和可扩展性,Mamba架构在遥感应用中得到越来越多采用,包括HSI分类[32],[33],[34],[35],[36],[37]。例如,[38]提出了HSIMamba,作为一种高效的高光谱图像分类框架。该模型结合了状态空间模型(SSMs)和双向处理机制,能够在保持计算效率的同时提取HSI图像的光谱空间特征。Yao等人[39]提出了SpectralMamba,作为一种先进的高光谱图像分类框架,旨在解决光谱变异性、冗余性和计算效率的挑战。本文通过提出的[40]Dynamic Token Augmentation Mamba(DTAM)探索了Mamba在跨场景HSI分类中的潜力。该框架结合了动态token增强模块和离散双向循环,实现了不同图像块间全局特征的有效捕获。受语言建模中混合架构优势的启发,本文提出了一种结合动态窗口聚合的混合多尺度CNN-Mamba网络,以实现高效准确的高光谱图像分类。所提出的框架结合了分段顺序扫描和门控空间光谱合并模块,能够有效捕捉内在空间规律性和独特的光谱特征,从而产生稳健且具有区分性的特征表示。我们之前的工作[41]中使用的固定大小的窗口将注意力限制在相同的空间区域,阻碍了长距离依赖性建模,如图1所示。主要贡献总结如下:
(1)提出的高光谱图像分类框架结合了多尺度浅层特征提取器、动态窗口聚合模块和单次扫描Mamba,通过有效捕获光谱空间特征和上下文信息实现精确分类,并提出了基于Transformer结构设计的新前馈模块。
(2)多尺度浅层特征提取器通过在不同窗口头组中使用不同大小的窗口来捕捉局部光谱空间特征。
(3)动态窗口聚合模块通过处理多尺度窗口来建模长距离空间依赖性,通过可学习的权重分配在窗口分支间融合浅层多尺度特征,实现稳健的多尺度上下文建模。
(4)提出的单次扫描Mamba模块采用双向扫描策略,增强了长距离依赖性和全局特征学习。
(5)在特征提取后,我们提出了空间通道注意力机制以进一步优化特征,从而提高分类结果。

**文章的其余部分结构如下:**
第二部分:提出的模型(Branch II)
第三部分:数据集和实验设置(Branch III)
第四部分:结果和讨论(Branch IV)
第五部分:结论(Branch V)

**方法论**
图2展示了所提出的Hybrid CNN-Mamba模型的架构。本节详细解释了结构组件和功能流程。该研究介绍了一个配备动态窗口聚合机制的混合多尺度CNN-Mamba网络,以应对多尺度长距离依赖性带来的挑战。首先,对原始高光谱数据应用PCA进行降维处理。接下来,动态位置嵌入(DPE)模块注入位置信息。

**实验评估**
所提出的模型通过在五个公认的高光谱图像数据集上进行综合实验来评估其性能,这些数据集的选择基于它们在采集条件和应用领域的多样性,包括:高分辨率数据集WHU-Hi-HanChuan(WHU-Hi-HC)、中国卫星数据集GF-5、行星科学数据集Holden Carter(HC)、中等数据集Pavia University(PU)和Salinas(SA)数据集。这些数据集的关键特征在表I中总结,具体数量在...

**结果与讨论**
为了展示我们提出模型的有效性,我们将其与现有方法NESSGGCN[51]、Swin-T[47] SpectralFormer[22]、BS2T[52]、HybridFormer[53]、HSIFormer[54]、S2CaT[51]、MambaHSI[55]、3DSS-Mamba[34]和ConvMamba[56]进行了全面比较。为了确保公平和无偏比较,所有模型都使用相同的训练样本和输入补丁大小在五个基准数据集上进行评估。这些数据集的详细特征和具体数量...

**结论**
在这项工作中,我们提出了一种新颖的高光谱图像分类框架,即具有动态窗口聚合(DWA)机制的混合多尺度CNN-Mamba网络,该框架集成了五个关键组件:动态位置嵌入(DPE)模块、多尺度特征提取(MSFE)模块、动态窗口聚合(DWA)模块、单次扫描Mamba(SSMamba)和通道-空间注意力模块,以实现高效的光谱空间特征提取和HSI分类。MSFE模块服务于CRediT作者贡献声明:Tahir Arshad参与了撰写、审稿与编辑工作,以及原始稿件的撰写。其贡献还包括软件开发、方法论设计、调查研究、形式化分析及概念框架的构建。

利益冲突声明
作者声明称,他们没有任何已知的财务利益冲突或可能影响本文研究结果的个人关系。

致谢
作者感谢沙特阿拉伯法赫德国王石油与矿业大学(King Fahd University of Petroleum and Minerals)对本文出版工作的支持。

Tahir Arshad(IEEE学生会员)于2014年在巴基斯坦佩沙瓦的Sarhad信息技术大学(Sarhad University of Information Technology)获得电子学学士学位,2019年在哈尔滨工业大学(Harbin Institute of Technology, HIT)获得电子与信息工程硕士学位,并于2024年在该校信息与通信工程系完成博士学位。目前,他担任SDAIIA-KFUPM联合研究中心的博士后研究员。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号