蝴蝶残差网络：一种结合光谱变换和深度卷积的混合方法，用于高光谱图像超分辨率处理

《IEEE Transactions on Neural Networks and Learning Systems》：Butterfly Residual Network: A Hybrid Approach With Spectral Transformers and Depth-Wise Convolutions for Hyperspectral Image Super-Resolution

本文提出新型蝴蝶残差网络（BRNet），结合谱Transformer与深度可分离卷积优化高光谱超分辨率，通过递归结构、融合参数生成实现高效特征融合与自适应剪枝，减少冗余信息。采用谱Transformer提取光谱特征，深度可分离卷积提取空间特征，并引入谱空交互模块（SSI）融合特征，同时设计卷积门控前馈网络（FFN）增强局部特征捕获能力并降低计算复杂度。实验表明BRNet在三个数据集上显著优于现有方法。

　　

摘要：

高光谱图像（HSI）超分辨率重建是一个具有挑战性的病态逆问题，其目标是通过整合高分辨率多光谱图像（HR-MSI）中的互补信息来提升低分辨率高光谱图像（LR-HSI）的空间分辨率，最终生成高分辨率的高光谱图像（HR-HSI）。现有方法通常采用残差连接和深度层堆叠来促进信息传播。虽然残差连接能够有效保持梯度流动，但我们观察到，在高维光谱任务中简单增加网络深度可能会导致特征冗余和性能饱和。为了解决这些问题，本文提出了一种新型的蝴蝶残差网络（BRNet），该网络结合了光谱变换器和深度卷积，从学习策略和特征提取两个角度优化了高光谱超分辨率重建的准确性和计算效率。在学习策略方面，提出了一种递归结构，并结合了融合参数生成技术，以促进高效的特征融合并实现自适应网络剪枝，从而减少冗余信息并提高计算效率。在特征提取方面，分别使用光谱变换器和深度卷积来捕获光谱特征和空间特征，有效利用它们在不同维度上的互补优势。随后引入了一个专门的光谱-空间交互（SSI）模块，以有效融合提取的特征，从而丰富网络特征的多样性。此外，还设计了卷积门控前馈网络（FFN），以增强网络捕捉局部特征的能力，同时显著降低计算复杂度。在三个高光谱数据集上的实验评估表明，所提出的方法优于现有的最先进超分辨率重建方法...

显示更多