MAMFF：用于半监督高光谱图像分类的多尺度自适应调制特征融合方法及离散采样策略

《Applied Soft Computing》：MAMFF: Multiscale Adaptive Modulated Feature Fusion for Semi-Supervised HSI Classification with Disjoint Sampling

　　阿米尔·阿里|穆彩红|刘毅|莫萨·海达尔
中国西安西安电子科技大学人工智能学院

摘要
高光谱图像分类技术已取得显著进展，许多模型在常用数据集上实现了近乎完美的准确率。然而，这类优异性能往往源于随机采样策略的应用，该策略会在训练样本与测试样本之间引入空间重叠与冗余现象。为解决这些问题，本文提出了一种改进的动态空间区域感知独立采样策略（DyReg-Disjoint）。与依赖超像素分割或刚性网格的现有独立采样方法，以及与随机采样极为相似的方法不同，DyReg-Disjoint采用基于聚类的空间区域划分机制，并结合自适应种子选择，从而在确保严格空间不重叠的同时，有效保持标记样本、未标记样本及测试样本中的类别平衡性与空间区域多样性，进而最小化局部特征泄漏与空间泄漏问题。此外，针对采用空间独立采样的高光谱图像分类任务，本文还提出了一种多尺度自适应调制特征融合网络（MAMFF）。该架构整合了残差密集卷积块与局部上下文感知混合变换器，其中残差密集卷积块通过残差学习与密集连接方式强化局部特征，实现高效的特征重用；局部上下文感知混合变换器则将卷积嵌入特征与注意力模块相结合，共同建模局部特征连续性及全局光谱空间特征。自适应调制特征融合模块进一步有选择地平衡来自不同层次的多尺度特征，提升判别性特征的表征能力。为充分利用未标记数据，本文还提出了一种改进的半监督学习框架，该框架采用基于置信度的伪标签策略，并结合逐轮自适应阈值，通过置信度过滤与基于卡尔巴克-莱布勒散度的一致性正则化处理，提升标记样本较少的场景下的模型鲁棒性。大量实验表明，所提方法具有更优的分类性能，其整体准确率比第二好的模型高出多达4.15个百分点。这些稳定的优势充分体现了所提各模块在提升高光谱图像分类的可靠性与泛化能力方面的有效性，同时也证明了DyReg-Disjoint采样策略的可行性。

引言
与传统仅能捕捉三种RGB通道的常规成像系统不同，高光谱成像系统能够获取数百个连续的窄光谱带，从而提供丰富的光谱与空间信息，有助于更精准地识别和表征地表物质。近年来，高光谱图像在诸多实际应用领域展现出巨大潜力，包括精准农业、国防建设、矿产勘探、医学诊断以及城市规划等。高光谱图像的高光谱分辨率还能帮助详细刻画复杂环境，实现植被、不透水表面和土壤等土地覆盖类型的精准制图，同时有效监测土地利用变化、植被健康状况及环境污染问题。高光谱图像分析中的核心任务之一便是高光谱图像分类，即为图像中的每个像素分配特定的类别。然而，由于光谱特征维度极高、标记样本数量有限，加之空间光谱异质性较强，高光谱图像分类仍是一项极具挑战性的任务。

高光谱图像既带来分类上的重大挑战，也蕴含着广阔的应用机遇。近年来，借助卷积神经网络、多尺度卷积神经网络、注意力机制以及空间光谱变换器等技术，研究人员在各类高光谱图像分类任务中取得了显著成果，这进一步推动了人们探索这些技术在该领域的应用潜力。李等人提出了基于3D空间滤波的3D卷积神经网络方法，用于同时提取光谱特征与空间特征以支撑分类任务。宋等人意识到不同层次特征之间的互补性与关联性，因此开发了深度特征融合网络以进一步提升分类性能。王等人则设计了一种端到端的快速密集空间光谱卷积网络，在提升分类准确率的同时减少了训练时间。另有研究指出，将通过加博尔滤波提取的浅层特征与卷积神经网络学习的深层特征相结合，能够显著提高分类精度。不过，传统卷积神经网络往往对所有像素赋予同等权重，无法体现不同像素的信息差异，为此人们开始运用注意力机制来解决这一问题。例如，杭等人设计了基于注意力的卷积神经网络，在分类前于SoftMax层自适应地结合光谱特征与空间特征；朱等人则提出了端到端的残差空间光谱注意力网络，利用空间光谱注意力机制处理高光谱图像分类任务。还有一些研究通过融合多模态数据并结合注意力机制来提升分类性能，其中就包括一种基于亚像素注意力与频域交叉调制网络的方案，该方案通过亚像素级的注意力机制实现光谱信息与几何信息的深度融合。得益于其对长距离光谱空间依赖关系的建模能力，基于变换器的高光谱图像分类技术发展迅速。例如，孙等人提出了光谱空间特征令牌化变换器，该模型将混合卷积浅层特征提取技术与高斯加权令牌模块相结合，再通过变换器编码器实现高级别的光谱空间特征学习。舒等人则提出了双注意力变换器网络，该网络包含空间光谱混合变换器模块与光谱局部卷积块模块，前者利用多尺度空间自注意力机制捕捉空间与光谱特征信息，后者则有效提取高光谱图像的局部光谱特征。吴等人提出了跨窗口光谱空间变换器模型，该模型通过融合的MBConv模块从高光谱数据中提取低级光谱与空间特征，再通过跨窗口注意力模块建模长距离空间依赖关系，从而获得更精细的光谱空间特征。徐等人则提出了双重选择性融合变换器，该模型能够在自注意力过程中有策略地选择关键特征令牌，进一步提升高光谱图像分类的准确率。

对于常用的高光谱图像数据集，最新的空间光谱分类方法已实现接近100%的准确率。然而，当随机采样导致训练区域与测试区域之间存在空间重叠时，这类结果可能会过于乐观，因为空间重叠会高估模型的泛化能力。Friedl等人在早期的土地覆盖评估研究中就已经指出了这一空间依赖性问题。为克服空间泄漏问题，Gei?等人提出了独立的采样策略，要求从高光谱图像中不重叠的空间区域选取训练样本与测试样本。还有一些方法旨在减少样本冗余，以便在更现实、更具挑战性的条件下更准确地评估模型性能。为解决传统采样方法的固有缺陷，梁等人采用了受控的采样区域扩展策略，该方法通过识别各类别的独立分区，从种子像素开始逐步扩展训练样本，从而在保持光谱多样性的同时减少空间重叠。IEEE地理科学与遥感学会也意识到了这一问题，因此在多项高光谱图像分类竞赛中制定了标准化的独立训练集与测试集划分规则。此后又有更多相关研究问世。例如，曹等人在前人策略的基础上提出了基于非重叠区域的采样方法，并结合超像素分割技术进行协同训练，后来还将该方法拓展应用于半监督特征学习领域。不过他们的另一项研究显示，在严格的非重叠条件下，高光谱图像分类的准确率会出现显著下降，这凸显了在真实独立场景下保持模型稳健性能的难度。Ahmad等人则采用了固定网格划分的独立采样策略，将图像划分为垂直或水平的非重叠块，但这种方法往往会导致类别不平衡，且无法体现语义上的空间多样性。在后续研究中，Ahmad等人又提出了带有独立采样策略的音叉形变换器框架，该框架的行为更类似于传统的随机采样方法，从而削弱了其严格的独立性限制。类似地，张等人采用了IEEE GRSS规定的随机区域独立采样策略，即从每个类别的空间区域中选取非重叠的矩形区域作为训练样本与测试样本，但该方法仍然存在采样偏差，难以公平地代表那些规模较小或光谱特征相似的类别。总体而言，现有的独立采样方法存在种种局限，要么过于僵化，要么与随机采样过于相似，要么无法确保公平的样本代表，这些都制约了它们在高光谱图像分类任务中的实际应用效果。为解决这些问题，本文提出了一种改进的动态区域感知独立采样策略（DyReg-Disjoint），该策略能够在确保严格空间不重叠的同时，自适应地维持类别平衡性与空间多样性，从而为实际应用中的高光谱图像分类模型提供更真实、更可靠的评估基准。

尽管取得了上述进展，但由于高光谱图像数据集中标记样本的数量有限，完全监督学习方法的性能会受到限制，而且在小样本训练条件下，深度模型往往容易过拟合。为解决这一问题，研究人员研究了数据增强技术以及基于patch的技术，包括使用随机patch作为卷积核以加速训练并提升收敛速度，以及采用基于边界感知的patch混合方法来增加少样本高光谱图像分类任务中的样本多样性。此外，为处理跨领域的少样本高光谱图像分类问题，穆等人提出了GhostNet模型，该模型具有出色的学习能力，所需参数较少，且能显著提升分类准确率。另外，人们还探索了架构搜索与生成式学习方法，旨在在监督数据匮乏的情况下强化特征表示能力。方等人则设计了一种协作学习框架，将该框架与深度卷积神经网络及深度聚类技术相结合，用于半监督高光谱图像分类。总体来看，半监督高光谱图像分类技术在应对标记样本不足的问题上展现出了良好的应用前景。

虽然像混合卷积神经网络-变换器模型以及半监督框架之类的方法已经带来了一定程度的改进，但它们仍存在诸多问题，比如特征冗余、不可靠的伪标签带来的错误，以及对重叠样本的依赖。因此，现有方法在现实应用中的表现依然不佳，更不用说在那些要求样本区域严格不重叠的场景中了。为解决这些问题，本文提出了一种多尺度自适应调制特征融合网络（MAMFF），该网络结合了新颖的混合变换器架构，用于在采用空间独立采样的半监督高光谱图像分类任务中提升模型的泛化能力。所提框架的核心组成部分包括残差密集卷积块、局部上下文感知混合变换器、光谱空间特征提取模块以及自适应调制特征融合模块。具体而言，残差密集卷积块通过结合残差学习与密集连接的优势，强化局部特征提取能力；局部上下文感知混合变换器则用于有效捕捉高光谱图像数据中的特征相关性及长距离依赖关系；光谱空间特征提取模块通过并行的3D卷积流与2D卷积操作提取光谱特征与空间特征；最后，自适应调制特征融合模块则负责自适应地平衡各模块提取的特征。基于这些组件，所提出的MAMFF模型被嵌入到半监督学习框架中，使其能够有效利用标记样本与未标记样本。为确保评估的公平性，本文在实验对比中始终对MAMFF模型以及所有基线方法应用所提出的DyReg-Disjoint采样策略。

本文的主要创新贡献可总结如下：
1）一种具备动态独立采样的半监督学习框架。本文提出了一种高效的半监督学习框架，该框架结合了混合变换器架构、空间独立采样策略以及基于置信度的伪标签机制，能够有效利用标记样本与未标记样本，从而实现高效的光谱空间特征学习，并在标记样本不足的情况下提升高光谱图像分类的泛化能力。
2）局部上下文感知混合变换器。本文设计了一种全新的混合变换器架构，该架构将卷积神经网络与注意力模块相结合，并通过卷积嵌入方式保持局部特征的一致性，从而有效捕捉并融合局部与全局的光谱空间特征，进而形成更具判别性的特征表示，提升高光谱图像分类的性能。
3）一种用于公平评估的动态空间区域感知独立采样策略。本文提出了一种改进的独立采样策略，用于为高光谱图像分类任务生成相互独立的训练集、验证集与测试集。通过确保各子集之间严格的空间分离，该策略可以有效消除数据泄漏问题，降低性能评估被高估的风险，从而使高光谱图像分类模型的评估结果更加客观、可靠。

本文的其余结构如下：第2节概述相关研究进展；第3节详细介绍所提出的方法，包括完整的MAMFF框架、改进的DyReg-Disjoint采样方法，以及基于置信度伪标签的高效半监督学习框架；第4节汇报实验设置与结果，包括对比实验、参数分析、消融实验以及分类结果可视化展示；最后，第5节对全文进行总结，并指出未来研究的方向。这些方法共同针对高光谱图像分类中的关键挑战，包括从高维光谱空间数据中有效学习特征，以及在标注数据有限条件下的稳健训练。

**提出的方法论**
本节介绍了整体研究方法论，包括所提出的MAMFF模型细节、用于生成不相交样本的改进型不相交采样方法，以及用于训练模型的高效半监督学习策略。工作流程首先通过基于PCA的光谱降维和图像块提取开始，随后运用DyReg-不相交采样方法，在空间上不重叠的前提下将数据划分为标注集、未标注集和测试集。

**实验**
为评估所提框架的有效性，我们在四个公开的高光谱图像数据集上进行了大量实验。并将该框架的性能与八种最先进的模型进行了比较，其中包括四种基于卷积神经网络的模型：3DCNN（TGRS 2018）[12]、CLOLN（TGRS 2024）[13]和SFDC（Neurocomputing 2023）[38]、DSCA-Net（TGRS 2024）[55]；以及四种基于Transformer的架构：SSFTT（TGRS 2022）[29]、TransHSI（Remote Sensing 2023）。

**结论**
本文提出了一种创新的半监督高光谱图像分类框架，该框架通过动态的空间区域感知不相交采样策略，克服了随机采样的局限性，并提升了模型的空间泛化能力。所提框架采用了混合CNN-Transformer结构，整合了残差密集卷积块、光谱空间特征提取模块以及局部上下文感知的混合Transformer结构。

**CRediT作者贡献声明**
穆彩红：写作——审阅与编辑、指导、资金获取、概念设计。阿米尔·阿里：写作——审阅与编辑、原始草稿撰写、方法论设计、概念设计。莫萨·海达尔：写作——审阅与编辑、结果验证。刘毅：写作——审阅与编辑、项目管理。

**利益冲突声明**
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

**致谢**
本研究得到了国家自然科学基金的支持（项目编号：62077038、61672405、62176196和62271374）。