《Remote Sensing》:DPMSCH-Net: A Dual Prior-Guidance Multi-Scale SSM-CNN Hybrid Network with Manifold Constraints for Hyperspectral Image Classification Under Small-Sample Conditions
编辑推荐:
高光谱图像(HSI)在农业应用中展现出巨大潜力,但传统分类方法在充分提取复杂的空间-光谱特征方面面临挑战。虽然深度学习方法提供了强大的表征能力,但标准的同质架构在有效捕获多尺度上下文方面往往存在局限性。此外,极端的标签稀缺性增加了识别中心目标和信息性光谱波段的
高光谱图像(HSI)在农业应用中展现出巨大潜力,但传统分类方法在充分提取复杂的空间-光谱特征方面面临挑战。虽然深度学习方法提供了强大的表征能力,但标准的同质架构在有效捕获多尺度上下文方面往往存在局限性。此外,极端的标签稀缺性增加了识别中心目标和信息性光谱波段的难度,而缺乏显式的特征空间约束可能使模型更容易发生特征坍缩和过拟合。为此,研究人员提出了一种名为双重先验引导多尺度SSM-CNN混合网络(DPMSCH-Net)的多尺度非对称架构,用于基于小样本学习(FSL)的高光谱图像分类(HSIC),在每类仅五个标注样本的极端场景下。具体而言,为了捕获多尺度上下文,DPMSCH-Net在前两个高分辨率阶段采用双重Mamba块(DMB)和层次上下文模块(HCM),在第三个最低分辨率阶段采用CNN分支以增强空间-光谱表征。随后,为了从有限样本中提取判别性特征,DMB由高斯空间先验引导,而受PCA启发的光谱衰减先验则提供统计指导以学习判别性光谱表征。最后,为了进一步优化特征空间结构,引入监督对比(SupCon)正则化,通过隐式难样本挖掘施加严格的流形约束。在HongHu、HanChuan和XiongAn数据集上的大量五次样本实验表明,DPMSCH-Net实现了88.25%、82.90%和67.35%的平均总体精度(OA),显著优于现有最优方法。
**论文解读:DPMSCH-Net——面向小样本高光谱图像分类的双重先导多尺度SSM-CNN混合网络**
**研究背景与问题**
高光谱图像(HSI)包含丰富的空间-光谱信息,在农业监测、环境评估等领域具有重要应用价值。然而,像素级标注成本极高,尤其在农田场景中,作物光谱随物候期和微环境变化显著,导致大规模标注不可行。小样本学习(FSL)旨在从极少量标注样本中提取判别性特征,成为解决该问题的关键方向。现有方法包括元学习、度量学习和数据增强三大范式,但面临以下挑战:同质架构难以充分捕获多尺度上下文;先验信息利用不足,未能有效结合HSI固有的空间分布与光谱统计特性;极稀疏标注下特征空间缺乏显式约束,易导致特征坍缩和过拟合。为此,研究人员提出DPMSCH-Net,通过双重先验引导、多尺度非对称混合架构和流形约束,实现小样本条件下的高精度分类。该研究发表在《Remote Sensing》。
**主要技术方法**
研究人员采用以下关键技术:(1)非对称多尺度SSM-CNN混合架构,包含三个分辨率递减的分支,前两个分支使用双重Mamba块(DMB)和层次上下文模块(HCM)捕获精细上下文,第三分支使用轻量卷积处理下采样特征;(2)双重Mamba块(DMB),由自适应高斯空间先验和受PCA启发的光谱衰减先验引导,分别聚焦中心目标和信息性光谱波段,同时保留边界和低能量通道的有效信息;(3)监督对比(SupCon)正则化,通过隐式难样本挖掘施加显式流形约束,提升类内紧凑性和类间分离度。实验基于三个公开数据集:HongHu(0.043m分辨率,22类)、HanChuan(0.109m,16类)、XiongAn(0.5m,19类),每类仅用5个训练样本。
**研究结果**
(1)**定量分析**:在HongHu、HanChuan和XiongAn数据集上,DPMSCH-Net的总体精度(OA)分别达到88.25%、82.90%和67.35%,平均精度(AA)和Kappa系数也显著优于十种现有最优方法,包括CNN方法(CSCANet、SSEFN)、Transformer方法(GSC-ViT、DSFormer)、Mamba方法(IGroupSS-Mamba、MambaHSI、MambaHSI+)及混合架构(SCluster-Former、MCTGCL、HSI-MFormer)。在模型复杂度方面,DPMSCH-Net仅0.21M参数和75.55M FLOPs,训练时间79.67秒,在精度与效率间取得良好平衡。
(2)**定性分析**:分类图显示,DPMSCH-Net生成的预测图噪声最少、区域一致性最强、边界最清晰,接近真实标签。相比之下,对比方法在碎片化区域和类间相似场景中表现出大量错误像素。
(3)**消融实验**:移除多尺度设计导致OA下降(如HanChuan从82.90%降至81.56%),表明非对称多尺度分支对捕获不同尺寸作物特征至关重要。移除DMB的先验引导导致HongHu OA从88.25%降至87.99%,进一步解耦实验显示,空间先验和光谱先验各自贡献互补:空间先验提升块状地物(如草莓)精度2.80个百分点,但对线性地物(如道路)略有抑制;光谱先验维持平滑衰减,引导网络聚焦主成分特征。移除SupCon正则化后OA和Kappa明显下降,t-SNE可视化显示,引入SupCon后特征分布更紧凑,类间分离更清晰,有效防止特征坍缩。
**总结与讨论**
DPMSCH-Net通过非对称多尺度SSM-CNN架构、双重先验引导的DMB和SupCon正则化,在极少量标注样本下实现了优越的HSI分类性能。其核心优势在于:利用Mamba处理高分辨率特征并引入层次上下文模块进行细粒度聚合,同时用轻量卷积处理低分辨率信息;通过高斯空间先验和PCA光谱衰减先验分别聚焦中心目标和信息性波段,避免过度抑制边缘或低能量通道;SupCon正则化通过隐式难样本挖掘显式约束特征拓扑,无需繁琐的样本对构建。
**结论**(翻译自原文):本文提出了DPMSCH-Net模型,一种面向小样本高光谱图像分类的双重先导引导多尺度非对称架构。通过集成非对称SSM-CNN框架、DMB和SupCon正则化,该模型在极端标签稀缺条件下实现了优越的特征表征。具体而言,非对称多尺度SSM-CNN架构通过三个分辨率递减的并行分支进行特征提取,利用Mamba处理高分辨率特征并选择性引入HCM进行细粒度聚合,同时使用轻量卷积处理重度下采样信息,从而高效捕获多尺度空间特征。DMB利用自适应高斯空间和光谱引导先验,指导模型选择性优先关注中心目标区域和最具信息量的光谱波段,同时避免过度抑制外围空间特征或低能量光谱通道。同时,SupCon正则化机制通过隐式难样本挖掘显式约束特征拓扑,有效防止特征坍缩,并增强类内紧凑性和类间分离度,无需繁琐的样本对构建。尽管DPMSCH-Net为标签稀缺场景提供了高效解决方案,但其当前评估局限于光谱范围400–1000 nm的农业无人机场景,对城市遥感、地质测绘或星载传感器等其他HSI领域的泛化能力尚待探索。未来工作将聚焦于跨领域适应性研究,并进一步轻量化模型以支持大规模监测应用。