IrregFusion：一种适用于多种光谱数据的高光谱图像融合的通用框架

《IEEE Transactions on Geoscience and Remote Sensing》：IrregFusion: A Generalized Framework for Hyperspectral Image Fusion across Diverse Spectral Data

针对低分辨率HSI与高分辨率MSI融合中视场不一致的问题，提出IrregFusion框架，通过Transformer模块捕捉多模态谱空关联，结合光谱传播策略和自监督适应机制，实现异视场高精度重建。

　　

摘要：

将低分辨率（LR）高光谱图像（HSI）与高分辨率（HR）多光谱图像（MSI）融合起来，已成为一种有前景的方法，用于重建结合了丰富光谱信息和精细空间信息的高质量HSI图像。然而，大多数现有的HSI融合方法都基于一个限制性假设：即LR HSI和HR MSI在空间上对齐，并且在视场（FoV）范围内完全一致。这种假设在现实场景中并不总是成立，因此大大限制了这些方法的适用性。为了解决这些问题，我们提出了IrregFusion，这是一个通用的HSI融合框架，能够处理视场一致和不一致的融合情况。具体来说，IrregFusion引入了一个基于Transformer的重建模块，该模块能够捕捉不同光谱数据与MSI之间的内在和外在相关性，从而增强了模型感知和重建非局部光谱-空间结构的能力。为进一步应对视场不一致带来的挑战，我们引入了一种光谱传播策略，将观测到的光谱信息扩散到相邻的光谱空白区域，从而便于重建缺失的光谱内容。此外，该框架还集成了一种自监督适应机制，实现了稳健的光谱-空间表示学习，并提高了模型在多样化和具有挑战性的条件下的泛化能力。在多个基准数据集上进行的广泛实验表明，IrregFusion有效地解决了多种光谱数据融合问题，并且在重建精度和视觉保真度方面始终优于现有的最先进方法。源代码将发布在https://github.com/JiangtaoNie/IrregFusion.git。