S3 RNet：一种基于稀疏空间-光谱表示的混合知识蒸馏方法，用于高效的多光谱和高光谱图像融合

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：S3 RNet: Sparse Spatial–Spectral Representation with Hybrid Knowledge Distillation for Efficient Multispectral and Hyperspectral Image Fusion

　　

摘要：

多光谱和高光谱图像融合是实现实时和近实时遥感分析的关键技术，其中需要在严格的计算和带宽限制下将低分辨率高光谱图像（LR-HSI）与高分辨率多光谱图像（HR-MSI）进行结合。尽管基于深度学习的融合方法已经取得了令人印象深刻的性能，但许多方法依赖于复杂且占用资源较多的架构，这些架构难以在资源有限的平台上部署，并且对噪声干扰非常敏感。为了解决这些问题，我们提出了稀疏空间-光谱表示网络（Sparse Spatial-Spectral Representation Network，简称S3RNet）。该框架引入了三个主要组成部分：(i) 多分支融合网络（Multi-Branch Fusion Network，简称MBFN），它在并行分支中捕获专门且互补的空间-光谱特征；(ii) 密集特征聚合模块（Dense Feature Aggregation Block，简称DFAB），该模块利用密集的连接性实现高效的特征提取和传播；(iii) 空间-光谱自适应权重模块（Spatial-Spectral Adaptive Weight Block，简称SSAWB），该模块学习内容感知的稀疏表示以抑制噪声并增强鲁棒性。此外，我们还开发了一种混合在线知识蒸馏（Hybrid Online Knowledge Distillation，简称HOKD）策略，该策略将知识从高容量的教师网络传递到轻量级的学生网络，在重建保真度和模型复杂性之间取得了良好的平衡。广泛的实验和分析表明，S3RNet）能够提供先进的融合精度、对各种噪声水平的强鲁棒性以及具有竞争力的运行时间，使其非常适合需要高效MS–HS图像融合的实际遥感应用。相关代码将公开发布。