利用可分离的大核注意力卷积和简化版的Transformer进行光谱-空间融合,以用于高光谱图像分类
《Pattern Recognition》:Spectral-spatial fusion using separable large kernel attention convolution and simplified Transformer for hyperspectral image classification
【字体:
大
中
小
】
时间:2026年08月30日
来源:Pattern Recognition 9.1
编辑推荐:
• 一个小型核卷积模块,用于局部光谱空间特征提取。
• 一个可分离的大核注意力卷积层,用于高效的长距离空间建模。
• 一个简化的Transformer编码器,用于捕获全局光谱空间依赖性。
• 在大多数公共高光谱图像(HSI)数据集上的优异分类性能。
**引言**
• 一个小型核卷积模块,用于局部光谱空间特征提取。
• 一个可分离的大核注意力卷积层,用于高效的长距离空间建模。
• 一个简化的Transformer编码器,用于捕获全局光谱空间依赖性。
• 在大多数公共高光谱图像(HSI)数据集上的优异分类性能。
**引言**
高光谱图像(HSI)在数百个窄带上提供了丰富的光谱信息,被广泛应用于环境监测[1]、精准农业[3]、城市规划[4] [5]以及其他领域[6] [7] [8]。HSI分类(HSIC)旨在利用数据内部的细粒度光谱空间结构为每个像素分配唯一标签,从而实现土地覆盖材料的准确识别[9]。最近在HSI相关任务(如压缩[10]、跨场景分类[11]和多模态变化检测[12])也取得了进展。
HSI方法大致分为两类:传统机器学习(ML)和深度学习(DL)。传统ML技术,包括支持向量机(SVM)[13]、随机森林(RF)[14]和k近邻(KNN)[15],依赖于手工特征,这限制了它们对HSI数据中复杂内在关系的建模能力。
与传统ML方法不同,DL方法可以直接从原始HSI数据中学习判别性特征,无需手动特征工程。这种能力使DL成为HSIC的主要方法[16] [17] [18] [19] [20] [21]。在这些DL方法中,卷积神经网络(CNN)获得了最多关注。例如,Chen等人[17]提出了一种1-D CNN来提取波段内的光谱特征,但它缺乏建模空间上下文的能力。为了结合空间纹理信息,Lee等人[22]和Zhao等人[23]开发了2D CNN来联合提取光谱和空间特征。然而,这些方法常常忽略了相邻光谱带之间的连续性。为了解决这个问题,引入了3D CNN来联合捕获光谱空间相关性,从而显著提高了分类准确性[24] [25]。例如,Chen等人[24]提出了一种规则化的3D CNN,其中集成了L2正则化、dropout和虚拟样本增强,以有效提取光谱空间特征并减少训练样本不足时的过拟合。同样,Lee等人[25]引入了一种具有上下文功能的深度CNN,该CNN利用多尺度3D卷积和全连接层来利用空间和光谱信息,在几个基准HSI数据集上取得了最先进的结果。
进一步的进展包括结合2D和3D CNN的混合架构[20] [26] [27]。例如,Li等人[27]设计了一个轻量级的2D-3D CNN框架,通过2D空间卷积和3D光谱卷积利用空间和光谱特征,有效减轻了过拟合同时降低了计算成本。最近的创新[28] [29] [30] [31]将注意力机制引入CNN中以提高特征的可区分性。例如,Hang等人[29]提出了一种CNN,通过集成空间和光谱注意力模块及自适应融合来实现这一点。为了进一步加强光谱空间依赖性建模,Roy等人[30]提出了一个自适应光谱空间核残差网络(??2???2??-Res),该网络动态调整感受野以改善特征集成。此外,Li等人[31]提出了一种3D轻量级CNN(3D-LWNet),以平衡准确性和效率。尽管基于CNN的方法在提取局部信息方面很有效,但它们的全局信息捕获能力和长距离依赖性建模能力从根本上受到卷积操作内在局部性的限制[32]。
受到Transformers在计算机视觉中成功的启发,它们也被广泛应用于HSIC[33] [34] [35] [36] [37]。这些方法主要分为两类:(1)纯Transformer架构,主要利用自注意力机制来建模光谱空间依赖性;(2)混合CNN-Transformer网络,将卷积层与Transformer模块结合在一起,以学习局部和全局信息。在纯Transformer方法中,SpectralFormer[38]利用光谱嵌入令牌来捕获全局波段间依赖性,从而减轻了CNN中固有的光谱连续性偏差。Qing等人[39]提出了一种基于自注意力的改进Transformer网络(SATNet),增强了长距离依赖性建模并减少了特征信息损失。随后,Li等人[40]引入了一种双分支掩码Transformer(DBMT),该网络利用空间和光谱分支上的掩码自编码预训练来学习局部特征嵌入。虽然这些纯Transformer架构表现出强大的全局建模能力,但它们在捕获局部特征方面往往存在局限性。为了克服这一局限性,人们探索了混合CNN-Transformer架构。例如,SSFTT[41]采用卷积层后接Transformer编码器来建模低级和高级语义特征之间的关系。MorphFormer[42]将可学习的形态学卷积操作与Transformer编码器结合,用于联合局部-全局特征建模。此外,Yang等人[43]提出了一种交互式Transformer-CNN混合网络(ITCNet)来增强特征学习。Fang等人[44]引入了一种具有光谱空间簇注意力(SClusterFormer)的可变形卷积增强层次Transformer。这种方法采用簇注意力机制、可变形卷积和跨特征像素级融合模块来增强特征提取。然而,这些混合网络通常使用小型核卷积作为前端提取器,产生的特征具有有限的感受野。这些空间受限的表示随后被输入到它们的Transformer中。因此,尽管Transformer具有全局注意力的固有能力,但由于输入中的空间上下文不足,不可避免地影响了全局空间依赖性建模的保真度。
为了解决这些问题,即纯Transformer缺乏局部细节以及混合方法中由于空间上下文不足而导致的全局建模效果受损,我们提出了一种新的混合HSIC框架,称为可分离大核注意力卷积和简化Transformer(SLKACST),如图1所示。该框架由三个互补模块组成,逐步优化特征表示。具体来说,我们构建了一个小型核卷积模块(SKCM)来捕获局部光谱空间特征,弥补了纯Transformer的局部细节不足。随后,我们通过将经典大核注意力(LKA)[45]中的2D卷积分解为分别在水平和垂直维度上应用的连续1D卷积,设计了一个可分离大核注意力卷积(SLKAC)模块。这种设计扩大了感受野,以捕获长距离空间上下文,为后续模块提供空间丰富的表示。最后,融入了一个简化的Transformer[37]来对这些丰富的特征进行全局光谱空间建模。这确保了Transformer在处理空间丰富的特征而不是空间受限的特征时运行。本工作的主要贡献总结如下:
(1)光谱空间融合框架:我们提出了一种新的光谱空间融合框架,通过集成SKCM、SLKAC和简化Transformer模块,统一了CNN的局部特征提取能力和Transformer的全局建模能力。
(2)可分离大核设计:我们通过用可分离的大核1D卷积替换经典LKA中的2D卷积,在水平和垂直维度上引入了SLKAC模块。这种可分离设计保留了LKA的广阔感受野,同时大幅降低了其计算复杂性和参数数量。
(3)卓越性能:在四个基准HSI数据集(Indian Pines、Salinas、WHU-Hi-LongKou和WHU-Hi-HongHu)上的广泛实验表明,我们的方法在Indian Pines、Salinas和WHU-Hi-HongHu上优于现有最佳方法,在WHU-Hi-LongKou上取得了极具竞争力的结果。
本文的其余部分组织如下。第2节提供了所提出框架的详细描述。第3节展示了实验结果和分析。最后,第4节总结了本文。
**总体框架**
如图1所示,所提出的SLKACST框架包含三个主要组成部分:SKCM、SLKAC和简化Transformer编码器。具体来说,首先使用SKCM提取局部光谱空间特征。随后,引入SLKAC模块来建模长距离空间依赖性。最后,简化Transformer对来自前面模块的空间丰富特征进行全局光谱空间建模。
**小型核卷积模块**
原始HSI数据表示为??∈???×??×??
**实验结果与分析**
本节对所提出的SLKACST方法进行了全面评估。我们首先描述了四个基准HSI数据集和实验配置。接下来,我们将SLKACST与九个最佳基线进行定性和定量比较。然后,我们分析了不同训练样本大小和计算复杂性对所有方法的影响。最后,通过消融研究来评估每个模块的贡献、补丁大小和PCA的影响。
**结论**
在本文中,我们提出了一种名为SLKACST的新CNN-Transformer混合框架用于HSIC。该框架集成了三个互补模块:SKCM用于局部光谱空间特征提取,SLKAC通过可分离大核设计进行长距离空间依赖性建模,简化Transformer对空间丰富特征进行全局光谱空间建模。这种协同设计缓解了由于小型核前端卷积引起的空间上下文不足问题。
**CRediT作者贡献声明**
Fangyuan Lei:方法论、资金获取、概念化。
Xuejiao Liao:撰写 - 原始草稿、软件、方法论。
Xun Liu:撰写 - 审稿与编辑、验证、方法论。
Zhaoling Liu:可视化、验证。
RongJun Chen:撰写 - 审稿与编辑、验证。
Alex Hay-Man Ng:撰写 - 审稿与编辑、监督。
Jinchang Ren:撰写 - 审稿与编辑。
**关于生成式AI和AI辅助技术的声明**
在准备本工作的过程中,作者在写作过程中没有使用任何生成式AI或AI辅助技术。
**关于利益冲突的声明**
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
**致谢**
本工作得到了广东省知识产权与大数据重点实验室(项目编号2018B030322016)、广东省关键学科研究能力提升项目(项目编号2024ZDJS022)、广东省基础与应用基础研究基金(项目编号2026A1515011548)以及广东工业大学人才培养专项项目(项目编号2026SDKYA060)的支持。作者还感谢...
**Fangyuan Lei|Xuejiao Liao|Xun Liu|Zhaoling Liu|RongJun Chen|Alex Hay-Man Ng|Jinchang Ren**
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号