基于无监督线性Transformer引导的融合网络的高光谱与多光谱图像融合

《Arthroplasty Today》：Hyperspectral and multispectral image fusion based on unsupervised linear Transformer-guided fusion network

高光谱图像（HSI）与全色多光谱图像（MSI）融合面临空间分辨率不足的问题。本文提出未监督线性Transformer引导融合网络（ULTGF-Net），通过多尺度通道交互提取网络（MSCIE-Net）提取MSI的多尺度特征并交互，结合引导融合网络（GF-Net）利用线性Transformer实现空间-光谱协同增强，并引入三维注意力增强模块（TDAE）优化特征融合。实验表明，ULTGF-Net在CAVE和Chikusei数据集上显著优于传统方法及现有深度学习模型，在PSNR、CC、RMSE等指标中均达到最优值，且计算复杂度低于部分模型。

　　本文探讨了一种用于高光谱图像（HSI）与多光谱图像（MSI）融合任务的无监督线性Transformer引导融合网络（ULTGF-Net）。HSI具有高光谱分辨率，能够更精确地识别不同材料，因此在农业、资源勘探、灾害检测与评估、军事侦察和食品安全等多个领域具有广泛应用。然而，HSI的高光谱分辨率通常伴随着较差的空间分辨率，这主要是由于成像设备和成像条件的限制。相比之下，MSI的空间分辨率更高，但光谱分辨率较低。为了解决HSI空间分辨率不足的问题，研究者们提出了多种融合方法，其中HSI与MSI的融合成为一种有效的解决方案。

在传统的融合方法中，主要分为基于全色锐化、矩阵分解和张量方法的三类。基于全色锐化的融合方法通常将低分辨率的MSI与高分辨率的全色图像进行融合，以提高MSI的空间分辨率。矩阵分解方法则是通过将HSI和MSI在光谱维度上进行分解，将三维张量转化为二维矩阵，从而进行融合操作。这种方法虽然在某些场景中表现良好，但往往忽略了HSI的原始结构，导致融合效果受限。而张量方法则在光谱和空间维度的探索上表现更优，近年来成为HSI融合的热门研究方向。例如，Dian等人提出了基于非局部稀疏张量分解的融合算法，通过引入非局部自相似性和稀疏性先验知识，提高了融合质量。此外，Zeng等人提出了基于广义张量核范数（GTNN）的融合算法，将张量核范数扩展到任意模式，并通过傅里叶变换计算GTNN，以实现HSI和MSI的融合。

近年来，基于深度学习（DL）的HSI-MSI融合方法在效率和性能上展现出显著优势。与传统方法相比，DL方法能够更有效地建模空间和光谱特征，同时避免了光谱失真和计算效率低下的问题。例如，Dian等人提出了基于残差学习的融合方法，通过求解Sylvester方程设置初始融合结果，并利用非线性映射来实现HSI和MSI的融合。Liu等人提出了基于低秩Transformer网络的融合算法，通过光谱交叉注意力机制捕捉双模态的缺失信息，并结合空间低秩交叉注意力与矩阵分解，以实现HSI的特征提取和融合。Sun等人提出了基于域转换模型的噪声鲁棒HSI-MSI融合算法，利用小波分解和深度学习相结合的方法进行HSI-MSI的噪声抑制。尽管这些DL方法取得了良好的融合效果，但由于无法模拟人类视觉系统对重要区域的关注机制，往往忽略了一些关键信息，影响了融合质量。

为了进一步提高融合效果并降低计算复杂度，本文提出了ULTGF-Net。该网络由多尺度通道交互提取网络（MSCIE-Net）和引导融合网络（GF-Net）组成。MSCIE-Net主要用于从MSI中提取多尺度特征，并通过通道交互卷积（CIC）块实现通道信息的交互，从而提升特征表示的准确性。GF-Net则利用线性Transformer引导融合（LTGF）块，通过建模长程依赖性，实现HSI特征的高效融合。此外，GF-Net还结合了三维度注意力增强（TDAE）块，以进一步增强融合特征的空间和光谱信息。

在具体实现上，ULTGF-Net首先通过MSCIE-Net提取MSI的多尺度特征，并通过CIC块进行通道交互。接着，将这些多尺度特征与低分辨率HSI（LR-HSI）的特征输入到GF-Net中，通过LTGF块实现空间引导增强和融合。最后，融合特征通过TDAE块进行三维度注意力增强，以进一步优化融合效果。该方法通过引入线性注意力机制，有效降低了Transformer模块的计算复杂度，同时保持了较高的融合性能。

在实验部分，本文在CAVE和Chikusei两个数据集上进行了测试。CAVE数据集包含32幅室内HSI图像，每幅图像有31个波段，覆盖400 nm到700 nm的波长范围。Chikusei数据集由Headwall HyperSpec-VNIR-C传感器采集，包含128个波段，覆盖343 nm到1018 nm，空间分辨率为2.5 m。通过实验结果可以看出，ULTGF-Net在多个客观评估指标上均优于其他现有方法。例如，在CAVE数据集上，ULTGF-Net的PSNR比次优方法高出1.15 dB，SAM比次优方法低0.82，RMSE比次优方法低0.15。在Chikusei数据集上，ULTGF-Net的PSNR比次优方法高出0.7454 dB，RMSE比次优方法低0.0911，SAM比次优方法低0.0961。这表明ULTGF-Net在融合精度和效率上均表现出色。

此外，本文还对ULTGF-Net的主要组件进行了消融实验。结果显示，移除聚焦函数、SA块、空间光谱一致性损失或TDAE块都会导致网络性能下降。其中，移除聚焦函数后，所有指标均有所降低，表明聚焦函数在特征增强和引导过程中起到关键作用。移除TDAE块后，PSNR下降了2.44 dB，SAM下降了0.26，说明TDAE块对多维度特征增强至关重要。而移除SA块后，PSNR下降了1.79 dB，表明SA块在融合特征的光谱增强方面具有显著效果。通过替换CIC块中的ParConv为DWConv，网络性能也有所下降，进一步证明了ParConv在通道信息交互中的优越性。

在模型复杂度方面，ULTGF-Net相比其他方法表现出更好的平衡。例如，在计算复杂度（GFLOPs）上，ULTGF-Net比GDD和UMAG降低了约48.5%。在GPU内存使用上，ULTGF-Net的使用量为7.263 GB，比Circle的4.945 GB高，但低于GDD的6.115 GB。在融合时间上，ULTGF-Net表现出最优的性能，处理时间最短。这表明ULTGF-Net在保持较高融合精度的同时，具备较低的计算复杂度和运行时间。

综上所述，ULTGF-Net是一种有效的HSI-MSI融合方法，能够同时提升空间分辨率和光谱信息的准确度。通过引入线性Transformer模块和三维度注意力增强机制，ULTGF-Net在保持高效计算的同时，实现了更精确的融合效果。未来研究将进一步探索模型的轻量化，旨在降低GPU内存使用和模型复杂度，同时保持或提升融合性能。