基于频率增强的空间-光谱网络，用于从多光谱图像重建高光谱图像

《IEEE Transactions on Geoscience and Remote Sensing》：Frequency-Enhanced Spatial-Spectral Network for Hyperspectral Imagery Reconstruction from Multispectral Imagery

高光谱影像（HSI）重建需解决空间与光谱分辨率矛盾，本文提出FESSN模型，创新性地融合空间、光谱和频率域信息，采用神经驱动频率增强调制（FEM）提升重建精度，结合Mamba-based多尺度空间融合模块和U型光谱模块，实验显示其RMSE降低5.31%，PSNR、SAM等指标优于六种SOTA方法，并在土地覆盖分类中验证有效性。

　　

摘要：

高光谱成像（HSI）能够提供详细的光谱信息，这些信息对于遥感应用至关重要，例如高精度的土地覆盖分类、定量参数提取和环境监测。然而，由于传感器的固有限制，卫星搭载的高光谱成像通常具有有限的空间分辨率；而机载高光谱成像则受到空间覆盖范围的限制。从多光谱成像中重建高分辨率的高光谱图像成为应对这些挑战的一种有前景的方法。在这项研究中，我们提出了频率增强型空间-光谱网络（FESSN），这是一种计算效率高的架构，它创新性地结合了空间域、光谱域和频率域的多域融合技术，以实现更好的重建性能。其中一个关键创新是神经网络驱动的频率增强调制（FEM），该技术通过快速傅里叶变换自适应地优化光谱幅度和相位，从而提供可解释且参数效率高的增强效果，以弥合空间-光谱建模之间的差距。同时，基于Mamba的多尺度空间融合模块（MMSAF）能够无缝整合局部特征与长距离依赖关系；U形光谱模块（USEM）则结合了Mamba和注意力机制来模拟组间和组内的关系，并遵循光谱稀疏性先验。实验结果表明，FESSN在RMSE（提升高达5.31%）、PSNR、SAM、ERGAS和SSIM等指标上均优于六种现有的最先进方法。在土地覆盖分类等下游任务中，FESSN的有效性得到了进一步验证，使其成为高效、高保真高光谱成像重建领域的突破性技术。为了便于重现性和进一步研究，相关代码将公开发布在：https://github.com/KustAIRS/TGRS-FESSN。