MDFISR：面向高光谱图像超分辨率重建的多维特征交互网络

《Signal Processing》：MDFISR: A Multi-Dimension Feature Interaction Network for Hyperspectral Image Super-Resolution

　　

摘要

在有限的计算资源下，如何在提升超光谱图像空间分辨率的同时保持光谱保真度，仍然是地球观测领域面临的关键挑战。为此，我们提出了多维特征交互超分辨率网络（MDFISR），这是一种单图像超光谱超分辨率方法，采用了频率选择性细节增强与空间-光谱上下文建模的协同框架。频率选择性细节增强路径通过一个高频特征增强模块，自适应地保留和放大边缘与纹理成分，并捕获其光谱依赖性，从而提取并增强高频细节。空间-光谱上下文建模路径则负责保持全局结构并建模光谱依赖性，利用空间稀疏上下文块提取多尺度全局空间特征，并通过光谱集中注意力模块采用空间权重引导来提高光谱精度以及与空间结构的一致性。在多个公开数据集上的大量实验验证了MDFISR的有效性。在Pavia Center数据集上以×4超分辨率放大时，MDFISR的PSNR达到29.91 dB，SAM为5.16，分别比次优方法DBNSR高出0.30 dB和0.15。该模型仅包含4.85M参数，在空间细节重建、光谱保真度和计算效率之间取得了良好的平衡，为高质量超光谱成像提供了一条高效可行的技术路径。

引言

超光谱成像能够捕获地面物体的精细光谱特征，从而为精准农业、环境监测和国防等领域的地球观测高精度信息提取提供关键支撑[1,2]。然而，受传感器平台的成像距离和瞬时视场等限制，所获取的超光谱图像往往存在空间分辨率不足的问题[3]。低空间分辨率导致图像中混合像元普遍存在，进而造成地面物体边界模糊和精细纹理细节丢失，严重制约了地球观测任务的准确性和可靠性[4,5]。因此，探索一种高效且鲁棒的超光谱图像超分辨率方法，在提升空间分辨率的同时保持光谱保真度且不增加硬件成本，对于提高下游应用的整体性能具有重要意义。

空间-光谱协同建模在超光谱图像超分辨率中起着至关重要的作用[6]。然而，大多数现有的深度学习方法在处理时将各个光谱波段视为相互独立的通道，未能充分利用波段之间丰富的相关性，例如相邻与非相邻光谱波段之间的互补关系，因此往往导致重建结果出现光谱失真[7,8]。尽管通道注意力机制在一定程度上可以实现跨通道特征重校准，但它们通常依赖全局池化将每个波段的空间信息压缩为一个标量。这一过程不可避免地削弱了表示单个波段内空间分布变化的能力[9]。事实上，不同光谱波段对边缘和纹理等空间结构的响应存在显著差异。忽视这种波段内空间异质性，使得光谱特征增强无法有效支持细粒度的空间-光谱联合重建[10]。因此，显式建模波段内空间结构变化为增强超光谱图像超分辨率中的关键高频细节提供了一种有效手段。

高频边缘、精细纹理和边界结构是决定空间重建质量的关键因素[11,12]。然而，传统的空间域方法通常通过梯度响应来捕获高频细节信息；然而，受局部平滑先验的约束，它们在精细纹理重建和亚像素细节保持方面仍存在明显不足，而引入频域信息被认为是弥补这一缺陷的有效途径[13]。然而，如何实现频域特征与空间域特征的高效协同，仍然是当前研究中的重大挑战[14]。如果将频域特征与空间域特征简单拼接，误差倾向于逐步累积，从而限制最终的重建性能[15]。如果将特征全局映射到频域进行统一处理，虽然频域的全局感受野可以增强高频特征的表示，但同时会削弱空间域网络在空间结构建模方面的优势，并可能引入额外的计算冗余和噪声干扰[16]。另一方面，如果仅将频域作为空间域选择性增强的辅助信息，则仍存在若干关键问题需要解决，例如如何合理地定义高频成分，以及如何建立频域信息与空间域特征之间的有效协同建模机制[17]。

为应对上述挑战，本文提出了一种面向超光谱图像超分辨率的多维特征交互超分辨率网络（MDFISR）。MDFISR采用了频率选择性细节增强与空间-光谱上下文建模的协同框架，由频率选择性细节增强路径和空间-光谱上下文建模路径组成，分别负责增强高频细节和建模全局空间-光谱依赖性。具体而言，设计了一个高频特征增强模块（HFFEM），通过可学习的高斯频率响应自适应选择有益的高频成分，使频率选择性细节增强路径能够为后续重建提供有效的细节信息。在空间-光谱上下文建模路径中，我们构建了一个双域提取块（DDEB），包含两个子模块：空间稀疏上下文块（SSCB）和光谱集中注意力模块（SCAM）。SSCB通过多尺度空间特征提取来捕获全局空间结构信息，而SCAM通过空间权重引导来提高光谱特征恢复的精度及其空间一致性。如图1所示，所提出的MDFISR在图像重建质量（PSNR）、光谱保真度（SAM）和计算复杂度（FLOPs）方面均取得了整体最优性能。

总之，本文的主要贡献如下：

• 1.
  我们提出了MDFISR，一种新型的单图像超光谱超分辨率网络。通过由频率选择性细节增强路径和空间-光谱上下文建模路径组成的并行双路径架构，协同增强高频细节并建模空间-光谱依赖性，从而在提升精细细节重建的同时保持光谱一致性，显著提高了超光谱图像超分辨率性能。
• 2.
  开发了HFFEM，包含三个顺序耦合的处理阶段：边缘引导去噪、自适应高频特征增强和高频光谱相关性增强。通过利用边缘先验和可学习的滤波核，该模块逐步抑制噪声干扰、选择性增强有益的高频特征并保持其光谱一致性，提高了高频细节重建质量及其关联的光谱保真度。
• 3.
  在空间-光谱上下文建模路径中，构建了DDEB，其中集成了SSCB和SCAM。前者将上下文特征建模与多尺度空间结构提取相结合，后者利用空间结构差异引导光谱特征重校准，使增强的光谱特征能够实现高保真的空间对应关系。

章节摘要

单超光谱图像超分辨率方法

早期的超光谱图像超分辨率研究主要采用基于模型的方法，如稀疏表示和字典学习[18,19]，通过先验约束来增强空间分辨率。然而，人工设计的先验往往难以准确表征复杂场景中空间-光谱信息的分布。随着深度学习的进步，研究人员开始将卷积神经网络引入该领域。Mei等人[20]扩展了

方法

在本节中，我们首先介绍所提出的MDFISR网络的整体架构。然后，分别描述HFFEM和DDEB的结构与功能。最后，介绍本工作所使用的损失函数。

实验部分

为评估所提出的MDFISR的性能，在三个公开数据集Chikusei、Houston和Pavia Center上进行了实验。进一步进行了消融研究，分析HFFEM、SSCB和SCAM对整体网络性能的贡献。

结论

本文提出了一种面向单图像超光谱超分辨率的多维特征交互超分辨率网络（MDFISR），旨在缓解有限硬件条件下空间分辨率与光谱分辨率之间的权衡。该网络采用双路径并行架构，由频率选择性细节增强和空间-光谱上下文建模组成，分别用于捕获高频细节和全局空间-光谱依赖性，

作者贡献声明

周盛：撰写——初稿，验证，软件，方法论，形式化分析。 薛志祥：撰写——初稿，调查研究，形式化分析。 郑俊龙：撰写——审阅与编辑。 沈颖：撰写——审阅与编辑，监督，项目管理，资金获取，概念化。

周盛|薛志祥|郑俊龙|沈颖