SFVEGNet：一种基于空间-频率视觉技术的边缘高斯协同融合网络，用于高光谱和多光谱图像融合

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：SFVEGNet: Spatial-Frequency Vision Mamba Enhanced Edge-Gaussian Cooperative Fusion Network for Hyperspectral and Multispectral Image Fusion

　　

摘要：

高光谱与多光谱图像融合（HMIF）旨在结合高光谱遥感图像（HSI）的高光谱分辨率和多光谱遥感图像（MSI）的高空间分辨率，以重建高分辨率的高光谱图像（HR-HSI）。然而，现有的基于深度学习的方法在模拟全局依赖关系以及联合优化空间域和频率域特征方面往往存在局限性。为了解决这些挑战，本研究提出了一种空间-频率视觉Mamba增强型边缘-高斯协同融合网络（SFVEGNet）。具体而言，开发了一个VMESS模块来捕获全局上下文信息，该模块基于二维选择性状态空间（SS2D）结构和门控前馈网络（GFFN）构建。此外，还设计了一个FAMF模块来实现频率域中的互补特征融合。另外，还提出了一个Cross-EGCF模块，该模块利用Scharr边缘算子和高斯平滑算法生成自适应权重，从而实现空间域和频率域特征之间的动态协同融合。实验在IEEE 2018、PaviaC、PaviaU和Chikusei数据集上进行。实验结果表明，SFVEGNet在多个评估指标上的表现优于现有方法。SFVEGNet的源代码将公开提供。