MCFRNet：用于高光谱图像分类的多路径上下文特征优化网络

《Neural Networks》：MCFRNet: Multi-path Contextual Feature Refinement Network for Hyperspectral Image Classification

　　万晓青|孙子琪|何宇鹏|陈峰•提出一种用于高光谱图像分类的轻量级上下文特征精炼框架。•MCFR框架可重构强/弱响应，并按组聚合上下文信息。•采用双分支注意力机制来优化具有区分度的光谱-空间特征。引言高光谱图像具有复杂的空间结构与丰富的光谱信息，其中空间信息反映了地面物体的结构、形状和纹理，而光谱信息则揭示了构成材料的物理与化学特性。与传统遥感图像相比，高光谱图像通常包含数百个相邻的光谱带，这为精确的陆地覆盖分类提供了更大潜力（Borsoi等人，2021；Ghamisi等人，2018；Wu等人，2021；Zhang等人，2022）。因此，高光谱图像被广泛应用于农业监测（Lv等人，2021；Ram等人，2024）、自然资源管理（Ma等人，2024）、军事侦察（Ardouin等人，2007；Peyghambari和Zhang，2021）以及环境治理（Camps-Valls等人，2013；Li等人，2023）等领域。这些应用涉及多种高光谱图像处理任务，包括去噪（Sun等人，2022a）、目标检测（Gao等人，2023）以及图像分类（Gao等人，2020）。其中，高光谱图像分类备受关注，其核心目标是为准确定义不同地面物体的陆地覆盖类型。在高光谱图像分类研究的早期阶段，人们采用了多种机器学习技术（Ozdemir和Polat，2020），如支持向量机（Okwuashi和Ndehedehe，2020）、贝叶斯估计方法（He等人，2023）以及随机森林（Yuan等人，2022）。同时，为了应对高光谱数据维度高、光谱信息冗余等问题，人们还使用了降维技术及光谱特征提取方法，比如主成分分析（Kang等人，2017）和独立成分分析（Villa等人，2011）。尽管这些方法在某些应用中表现尚可，但面对高光谱数据的高维度、复杂的空间分布以及细微的光谱变化时，其效果往往有限。此外，它们有限的表征能力也难以捕捉精细的区分性细节，从而导致分类精度不够理想。为克服传统机器学习技术的局限性，深度学习方法逐渐成为高光谱图像分类领域极具前景的解决方案（Fu等人，2025）。与手工设计的特征提取方法不同，深度学习模型能够从原始数据中自动学习分层特征表示，从而在各类计算机视觉任务中带来显著提升。在高光谱图像分类领域，卷积神经网络因其能够利用参数共享机制提取局部空间特征而备受关注（Xi等人，2025）。这一特性使得卷积神经网络能够在使用相对较少的可学习参数的情况下保留局部结构信息（Zhu等人，2020a）。例如，Hu等人（2015）开发了一种一维卷积神经网络，用于从高光谱数据中提取光谱特征；Ghaderizadeh等人（2021）则提出了一种融合二维与三维卷积神经网络的混合模型，该模型在简化架构的同时具备较强的抗噪声能力，且能在训练样本有限的情况下正常工作。类似地，Chen等人（2016）引入了三维卷积神经网络，用于同时提取光谱与空间信息。虽然三维卷积神经网络在提取高光谱数据中的光谱-空间特征方面效果显著，但由于高光谱数据的高维度与复杂的空间分布，往往需要更深的神经网络或更多参数才能充分表示不同维度上的特征。然而，增加模型容量可能会使训练过程更加复杂，尤其是在可用标注样本有限的情况下，还容易引发过拟合问题。为解决这些问题，Paoletti等人（2018）提出了一种专为高光谱数据设计的深度卷积神经网络架构，该架构通过基于残差的金字塔瓶颈块来增强光谱-空间特征提取能力，同时保持较高的计算效率。Xie等人（2020）则提出了一种具有多级密集连接的卷积网络——MS DenseNet，该网络通过提取多尺度特征块，并利用密集块在不同层之间捕获互补信息，从而减少特征损失并提升模型的泛化能力。为建模长距离依赖关系，Wang等人（2018）提出了用于高光谱图像分类的快速密集光谱-空间卷积模型FDSSC。Zhong等人（2017）开发了光谱-空间残差网络SSRN，该网络直接处理原始的三维数据立方体，并通过多连接残差结构来减轻特征损失与过拟合现象。此外，Guo等人（2023）提出了DSGSF网络，该网络包含一个空间子网络用于提取全局空间表征，以及一个光谱子网络用于整合双视角的光谱信息，从而能够同时对空间模式与光谱特性进行建模。尽管基于卷积神经网络的方法及其变体在高光谱图像分类领域取得了显著进展，但它们主要只能从局部区域提取特征。这种局部建模机制限制了它们捕捉远处像素之间更广泛上下文关系的能力，尤其是在那些空间结构复杂且光谱特征相似的类别中。为弥补这一缺陷，人们将注意力机制引入高光谱图像分类及相关视觉任务中。通过为有用的通道、像素或区域分配自适应权重，经过注意力机制增强的网络可以抑制冗余响应，突出具有区分度的光谱-空间特征。例如，Fu等人（2019）提出了双注意力网络DANet，该网络通过位置注意力模块与通道注意力模块相结合，将局部特征与全局依赖关系相融合。Zhu等人（2020b）则开发了RSSAN，该模型利用光谱注意力机制与空间注意力机制来实现特征的自适应选择与精炼。另外，Wang等人（2023）提出了LSCNet，该网络通过自适应稀疏优化、大型卷积核以及多尺度特征聚合等方式，来提升特征提取与分类性能。不过，大多数经过注意力机制增强的卷积神经网络框架仍然严重依赖于局部的卷积骨干结构。因此，虽然它们能在一定程度上改善特征校准效果，但在实现长距离上下文建模、精细细节保留以及保持计算效率之间仍存在困难。基于Transformer的方法则为高光谱图像分类中捕捉全局光谱-空间依赖关系提供了另一种有效途径（He等人，2019；Yan等人，2023）。与主要关注局部邻域的卷积神经网络不同，Transformer模型通过自注意力机制来建模各个元素之间的关系，因此非常适合用来表示高光谱数据中的长距离依赖关系。考虑到高光谱图像丰富的光谱信息与序列特征，研究人员提出了多种基于Transformer的高光谱图像分类架构。Sun等人（2022b）提出了SSFTT模型，该模型结合三维与二维卷积神经网络用于低层级特征提取，并通过高斯加权标记来捕捉深层语义特征。Zou等人（2022）引入了LESSFormer模型，该模型利用HSI2Token模块将高光谱数据转换为自适应的光谱-空间标记，再通过局部增强的Transformer编码器来强化局部信息。Mei等人（2022）提出了GAHT模型，该模型将多头自注意力机制限制在局部光谱-空间上下文中，以避免特征过度分散。Hong等人（2021）提出了SpectralFormer模型，这是一种基于Transformer的骨干网络，它能够从相邻光谱带中学习光谱信息，并通过跨层跳过连接来减少信息损失。Tu等人（2022）开发了LSFAT模型，该模型通过引入基于均匀区域的模块，来弥补传统ViT模型在多尺度特征提取与计算成本方面的不足。尽管上述方法从不同角度提升了高光谱图像分类的性能，但仅仅增加卷积运算能力、引入注意力机制或采用Transformer结构，仍然无法完全解决在样本有限的场景下，上下文表征、局部细节保留与计算成本之间的实际权衡问题。基于卷积神经网络的方法在局部光谱-空间特征提取方面效率较高，但其局部感受野限制了它们对更广泛上下文关系的建模能力；而基于Transformer的方法虽然在全局依赖关系建模方面表现优异，但其标记化处理与自注意力运算通常会带来更高的计算复杂度，还可能削弱对于区分光谱相似类别至关重要的局部边界与纹理细节。因此，本文要解决的核心问题在于：如何学习轻量级的光谱-空间上下文表征，从而在保留具有区分度的局部细节的同时，提升上下文建模能力。为解决这一问题，我们提出了一种用于高光谱图像分类的多路径上下文特征精炼网络MCFRNet。该框架沿单一精炼流程组织结构，包括高效的上下文扩展、响应级与组级特征精炼，以及自适应的光谱-空间增强。其主要贡献如下：•提出了一种高效特征提取模块HEFE，用于实现轻量级的上下文特征提取。该模块通过深度卷积与点积卷积的方式，在保持较低计算复杂度的同时扩大有效感受野。•提出了一种多路径上下文特征精炼模块MCFR，用于同步提升响应的可靠性与上下文的一致性。具体而言，多层特征重构模块通过分离并重用强特征响应与弱特征响应，来实现响应级的特征重构，从而有助于保留精细的区分性细节，减少不可靠激活值的影响；与此同时，多组上下文特征聚合模块则通过自适应方式重新校准不同的光谱-空间特征子空间，以实现组级的上下文聚合。•提出了一种自我感知的协同注意力机制SACA，用于自适应地强化有用的光谱通道与空间相关性。该机制通过结合通道注意力与全局空间注意力，在上下文特征精炼之后进一步增强具有区分度的光谱-空间响应。在包括Houston2013、Pavia University、WHU-Hi-HanChuan以及WHU-Hi-LongKou在内的四个高光谱图像数据集上进行的大量实验表明，所提出的MCFRNet在模型复杂度与计算成本较低的情况下，依然能够实现具有竞争力的分类精度。本文结构如下：第2节介绍MCFRNet模型，第3节详细阐述实验设置与分析过程，第4节总结本研究的主要结论。方法概述所提出的MCFRNet架构通过整合HEFE、MCFR与SACA三种策略，实现了逐步式的上下文特征精炼。首先，HEFE模块以轻量级的方式扩大有效感受野，从而提供更广泛的patch级上下文响应。然而，由于高光谱数据存在较高的光谱冗余度、类别间相似性以及标注样本有限等问题，这些扩展后的响应中仍可能包含冗余、模糊或不可靠的激活值。因此，接下来便需要借助MCFR模块。实验与分析在本节中，我们通过一系列实验来评估所提出的MCFRNet的性能与有效性。我们选择了四个公开的高光谱图像数据集，用以考察该方法在不同数据特征条件下的分类精度。为解决比较方法时效性的问题，我们更新了基准测试集，用2022年至2025年间发表的若干最新代表性高光谱图像分类方法替换了原有的旧基准模型。最终对比结果结论在本文中，我们提出了一种用于高光谱图像分类的轻量级多路径上下文特征精炼网络MCFRNet。该网络旨在以较低的计算复杂度，学习有效的光谱-空间上下文表征，同时保留精细的区分性细节。具体而言，HEFE模块通过扩大有效感受野来实现高效的上下文特征提取；而MCFR模块则通过……未标注引用缺失引用图1、图3CRediT作者贡献说明万晓青：撰写——初稿、方法论、资金获取、概念构思。孙子琪：撰写——审稿与编辑、数据整理。何宇鹏：可视化、验证、软件、资源准备。陈峰：监督、项目管理、调研。利益冲突声明作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。致谢资助支持：本研究得到了湖南省科技计划项目（2016TP1020）、湖南省“十四五”规划重点学科与应用型特色学科项目（湘教通[2022]351）、衡阳师范学院科学基金（2022QD07）与衡阳市引导性计划项目（202323036897），以及湖南省自然科学基金项目（编号2026JJ60500）的支持。