联合多尺度空间金字塔与频域学习方法在高光谱与多光谱图像融合中的应用

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Joint Multiscale Spatial Pyramid and Frequency-Domain Learning for Hyperspectral and Multispectral Image Fusion

　　

摘要：

融合高光谱（HSI）和多光谱（MSI）图像对于遥感应用以及生成高空间分辨率的高光谱图像（HR-HSI）非常重要。现有的方法要么主要依赖于空间-光谱表示学习，侧重于空间域特征，要么采用频域建模来增强光谱表示。本文提出了MSF-Net，这是一个双分支的HSI-MSI融合网络，它将多尺度空间建模与频率引导的光谱增强相结合。在MSI分支中，多尺度空间金字塔（MSP）模块基于通道引导的空间交互残差块（CGSI），从HR-MSI中自适应地聚合多个尺度的空间特征。在HSI分支中，傅里叶引导的通道空间协同（FGCS）模块将基于FFT的频率增强与通道注意力相结合，以减轻光谱失真同时保留细节结构。通过实现频率引导的光谱特征与多尺度空间特征之间的直接交互，MSF-Net实现了空间-光谱的协同优化。此外，还设计了一种具有可学习权重的边缘感知损失函数，以提高结构保真度并增强训练稳定性。在四个公共数据集上的实验表明，MSF-Net在定量指标和视觉质量方面均优于代表性的融合方法。消融研究进一步验证了所提出组件的贡献。代码可在以下链接获取：https://github.com/mingze2024/MSF-Net。