用于高光谱图像分类的基于混合多跳图卷积的多粒度融合网络

《Pattern Recognition》：Multi-granularity fusion network with mixed multi-hop graph convolution for hyperspectral image classification

　　

•双分支 MGF-Net 桥接了粗粒度上下文和精细空间细节。
•带有并行 0-hop 路径的混合 k-hop 块解决了深度 GCN 中的过平滑问题。
•空洞蓝图可分离卷积实现了高效的多尺度提取。
•轻量级 HFFM 在没有重型注意力机制的情况下桥接了空间 - 语义差距。
•在四个 HSI 基准测试中以实现低复杂度达到了最先进的准确性和鲁棒性。

引言
高光谱成像通过数百个连续的窄波段捕获细粒度光谱响应，能够进行精确的物质成分分析，这一能力在最近的光学遥感 [1] 和计算机视觉 [2] 研究中得到了广泛验证。高光谱图像分类（HSIC）将语义标签分配给像素，在精准农业和环境监测 [3] 中发挥着至关重要的作用。

在过去十年中，HSIC 在方法论上取得了重大进展。卷积神经网络（CNNs）推动了重大进步，从 1D 光谱架构 [4] 演变为 2D 和 3D 空间 - 光谱模型，如 CDCNN [5]、SSRN [6] 和 HybridSN [7]。虽然 CNN 擅长层次化局部特征提取，但其基于网格的范式本质上难以建模地面物体的不规则空间拓扑。为了捕获长程依赖关系，引入了基于 Transformer 的方法 [8] 和张量表示网络 [9]，以及诸如最近的 Mamba 架构 [10] 及其变体 [11] 等状态空间模型（SSMs）。虽然最近的混合 CNN-Transformer 模型，如双特征聚合网络 [12] 和高频纹理增强网络 [13]，试图通过交叉注意力或动态聚合来增强全局 - 局部特征交互，但它们仍然局限于规则欧几里得网格。因此，它们的自注意力机制产生二次复杂度，并严重依赖足够的标签，同时仍在显式建模不规则同质区域中的非局部相关性方面存在不足。类似地，SSM 通过展平的 1D 序列处理图像，可能会破坏 HSI 数据固有的 2D 空间连续性。除了这些传统的深度学习范式外，量子启发模型作为一种新的尝试应运而生；例如，量子启发光谱 - 空间金字塔网络（QSSPN）[14] 利用量子表示和类似测量的融合来动态提取光谱 - 空间特征。然而，这种量子启发方法本质上是在规则数据阵列上操作的，仍然缺乏对不规则空间结构的显式拓扑建模。

除了这些架构进步之外，新兴方法开始探索更具挑战性和现实的场景以满足实际需求。例如，在标签数据有限的背景下，Feng 等人 [15] 引入了一种解耦知识蒸馏框架用于跨域小样本分类。为了利用未标记数据，Chi 等人 [16] 提出了一种自监督知识蒸馏策略，生成自适应软标签。此外，针对开放集场景的复杂性，Feng 等人 [17] 开发了一种分数域信息增强超球原型学习方法，以提高已知和未知类别之间的判别力。在追求多模态智能的过程中，研究人员还探索了多种数据融合策略，如基于动态多分数傅里叶域的协同 HSI-LiDAR 分类框架 [18]，以及集成语言先验的语言引导光谱 - 空间融合网络 [19]。虽然这些研究在特定任务（如小样本、开放集、多模态）中取得了显著成功，但它们严重依赖稳健的空间 - 光谱特征提取骨干网络。如果基础骨干网络本身无法显式桥接粗粒度全局上下文和细粒度局部细节之间的结构差距，这些下游特定任务的表现不可避免地会受到瓶颈限制。因此，仍然存在迫切需要构建一个稳健的通用框架，协同整合多尺度空间 - 光谱特征与全局拓扑结构，作为复杂遥感应用的强大骨干网络。

为了克服这些架构的欧几里得网格限制，图卷积网络（GCN）通过拓扑图自然建模不规则结构，用于一般 HSI 建模 [20] 和跨场景特征对齐 [21]。通过沿图边传播特征，GCN 高效地建立全局关系，并对有限的标注具有鲁棒性。然而，传统 GCN 面临两个主要挑战：（1）随着深度增加而模糊局部细节的过平滑问题，以及（2）在没有计算密集的多子网络设计的情况下提取多尺度空间特征的困难 [22]。

为了利用 CNN 和 GCN 的互补优势，混合架构应运而生。然而，现有方法通常采用次优的特征融合策略——从简单的拼接 [23] 或相加 [24] 到参数密集的注意力机制 [25]——这无法完全桥接像素级局部纹理和超像素级全局拓扑之间的表示差距。

为了解决这些挑战，我们提出了多粒度融合网络（MGF-Net），这是一种混合双分支架构，显式桥接粗粒度结构上下文和细粒度空间细节。粗粒度分支在超像素图上采用混合多跳图卷积网络（MMGCN），以同时保留局部细节并扩展长程依赖关系。补充地，细粒度分支利用卷积特征金字塔网络（CFPN）高效提取多尺度像素级特征。此外，轻量级混合特征融合模块（HFFM）在通道层面强制进行跨粒度协作映射。在四个基准测试上的广泛实验表明，MGF-Net 以统计显著性实现了最先进的性能。主要贡献总结如下：

•我们提出了一种混合 k-hop 图卷积块，具有内在的并行 0-hop 路径。与现有的多跳聚合不同，这种设计显式作为结构性高频残差连接，将保留局部超像素内模式与扩展全局超像素间上下文解耦，从根本上解决了深度图传播中的过平滑困境。
•通过将空洞蓝图可分离卷积引入 CFPN，我们将多尺度感受野扩展与计算开销解耦，以高参数效率实现丰富的像素级细节提取。
•提出的 HFFM 通过通道混洗和组卷积强制进行细粒度跨粒度协作映射，提供了一种高效而强大的解决方案来桥接空间 - 语义差距，而不依赖重型注意力机制。
•在四个 HSI 基准测试上的广泛实验证实，MGF-Net 在有限的训练样本下实现了最先进的准确性和卓越的鲁棒性，同时保持了较低的理论计算复杂度。

部分片段
相关工作
本节回顾了基于 CNN-GCN 的 HSIC 方法和多跳 GCN 的相关研究，强调了提出该架构的动机。

方法论
设高光谱图像（HSI）表示为 X∈?H×W×B，其中 H、W 和 B 分别表示高度、宽度和光谱波段数量。鉴于有限的标注，我们的目标是为每个像素预测语义标签。为此，我们提出了多粒度融合网络（MGF-Net），显式桥接粗粒度结构上下文和细粒度空间细节。如图 2 所示，MGF-Net 采用双分支架构，包含一个混合多跳图

数据集
所提出的模型在四个广泛使用的高光谱数据集上进行评估：Indian Pines (IP)、Salinas (SA)、Pavia University (PU) 和 Houston 2013 (HU)。它们的关键属性总结在表 1 中。为了评估在有限标签条件下的性能，我们根据数据集规模采用不同的采样率。对于相对较小的 IP 和 HU 数据集，每类随机选择 2% 的标记样本用于训练，另 2% 用于验证，剩余的 96% 用于

结论
在本文中，我们提出了 MGF-Net，一种多粒度融合网络，用于高光谱图像分类，显式桥接粗粒度结构上下文和细粒度空间细节。我们没有天真地拼接 CNN 和 GCN 骨干网络，而是系统地设计我们的架构，通过多粒度视角解决混合建模中的三个内在挑战：（1）在粗粒度上，为了减轻图网络中的过平滑

CRediT 作者贡献声明
Yongxia Zhang：写作 – 审查与编辑，监督，方法论，资金获取。
Qingfang Bai：写作 – 原稿，可视化，软件，方法论。
Qiang Guo：监督，形式分析，概念化。
Hui Liu：监督，资金获取。

竞争利益声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢
这项工作得到了国家自然科学基金（批准号 61802229）、山东省泰山学者项目（批准号 tstp20221137）、山东省重点研发计划（批准号 2024TSGC0109, 2025CXPT100）以及济南人才发展计划 - 科技（批准号 202333037）的支持。

Yongxia Zhang|Qingfang Bai|Qiang Guo|Hui Liu