E-Net用于图像超分辨率处理：一种超分辨率技术的视角

《Image and Vision Computing》：E-Net for pansharpening: A super-resolution perspective

全色-多光谱图像融合中提出E-shaped网络与DIAM模块，通过主U-Net重建多光谱图像并辅助分支提取空间特征，结合自注意力与跨注意力机制实现多尺度融合，在QuickBird等数据集上达到最优性能。

　　在遥感领域，多光谱（MS）图像和全色（PAN）图像的融合是一项关键技术。其中， pansharpening（ pansharpening）指的是将低分辨率的MS图像与高分辨率的PAN图像进行融合，从而生成高分辨率且保持丰富光谱信息的MS图像。这一过程对于环境监测、城市规划和精准农业等应用至关重要，因为这些领域往往需要同时具备高空间分辨率和高光谱保真度的图像数据。然而，由于传感器硬件的限制以及成本因素，许多商业卫星系统在空间分辨率和光谱分辨率之间存在固有的权衡，这使得高分辨率MS图像的获取变得困难。

传统的pansharpening方法通常依赖于人工设计的先验知识和假设，例如成分替换（component substitution）、多分辨率分析（multi-resolution analysis）或变分优化（variational optimization）等。这些方法虽然在概念上较为直观，且计算效率较高，但在处理复杂场景或异质图像时，往往会出现光谱和空间失真问题。例如，成分替换方法通过将PAN图像的高频信息替换到MS图像中，虽然可以提高空间分辨率，但可能导致光谱信息的丢失或失真。而多分辨率分析方法则通过不同尺度的图像信息进行融合，但其对图像内容的适应性较差，难以捕捉到图像中的复杂结构和细节。

近年来，随着深度学习技术的快速发展，pansharpening方法也经历了显著的变革。卷积神经网络（CNNs）在学习PAN和MS图像之间的复杂映射关系方面表现出色，为pansharpening任务提供了新的思路。然而，CNNs的局部感受野和内容无关的滤波器限制了其对长距离依赖关系和全局上下文信息的捕捉能力，导致融合后的图像在纹理细节和特征融合方面存在不足，特别是在处理复杂或异质场景时更为明显。

为了解决这些问题，基于Transformer的模型逐渐受到关注。Transformer通过自注意力机制能够动态捕捉所有像素之间的依赖关系，从而更好地建模全局上下文信息。这一特性使得Transformer在pansharpening任务中展现出强大的潜力。例如，一些研究已经提出纯Transformer模型，利用自注意力机制来捕捉长距离的交互，取得了优于传统方法的性能。此外，基于Swin Transformer的多分辨率网络也被开发出来，通过在移动窗口中利用局部自相似性进一步提升了融合质量。还有研究采用全连接自注意力机制，通过挖掘多源图像中的局部和非局部领域相关性，实现了对信息的忠实保留。

尽管基于Transformer的方法在pansharpening任务中表现出色，但大多数现有方法仍然倾向于通过增加网络深度或复杂度来提升模型性能，而缺乏对网络结构本身的深入思考。特别是在处理pansharpening的双输入特性时，即PAN和MS图像提供互补但不同的信息，现有方法往往未能充分考虑这一特点，导致融合效果受限。

基于上述观察，本文提出了一种新的pansharpening框架，将任务建模为PAN引导的图像超分辨率问题。该框架受到U型网络结构在超分辨率任务中的成功应用启发，设计了一个E型网络架构，该架构在经典U-Net的基础上引入了一个并行的辅助分支，专门用于处理pansharpening的双输入特性。具体而言，主U型分支专注于MS图像的层次化重建，而辅助分支则用于从PAN图像中提取多尺度的空域特征。这两个分支通过横向连接进行交互，使得PAN路径中的高频细节能够动态地引导MS图像的重建过程。

为了进一步提升空域和光谱信息的融合效果，本文还提出了一种新的细节注入注意力模块（DIAM）。该模块通过在编码和解码阶段以内容感知和空间自适应的方式，将PAN图像中的高频细节注入到MS特征中。DIAM包含两个子分支：一个用于提取MS图像的光谱特征，另一个用于选择性地整合PAN图像中的高频细节。其中，光谱自注意力分支利用基于窗口的多头自注意力机制，捕捉长距离的光谱依赖关系，从而保持MS图像的光谱保真度。而交叉注意力分支则结合了增强的平方ReLU激活函数，以选择性地强调PAN图像中相关的特征。这种双分支设计不仅实现了有效的特征融合，还增强了模型的可解释性，降低了光谱失真和空间失真的风险。

为了验证所提出方法的有效性和通用性，本文在三个广泛使用的遥感数据集上进行了大量实验，包括QuickBird、GaoFen-2和WorldView-3。实验涵盖了减少分辨率和全分辨率两种任务设置，以评估模型在不同场景下的性能。实验结果表明，所提出的方法在多个定量指标和视觉评估方面均表现出色，显著优于现有的最先进方法。此外，本文还通过消融实验分析了各个关键组件对模型性能的影响，进一步验证了所提方法的优越性。

本文的主要贡献可以归纳为以下几点：

1. 提出了一种用于pansharpening的E型网络架构，该架构在经典U-Net的基础上引入了一个并行的辅助分支。主U型分支专注于MS图像的层次化重建，而辅助分支则用于从PAN图像中提取多尺度的空域特征。通过将pansharpening建模为PAN引导的图像超分辨率问题，该网络架构能够动态地利用PAN图像中的高频细节来指导MS图像的重建过程。

2. 提出了一种细节注入注意力模块（DIAM），该模块实现了双分支的光谱-空域融合。光谱自注意力分支负责提取MS图像的光谱特征，而交叉注意力分支则选择性地整合PAN图像中的高频细节。通过这两个分支的协同作用，DIAM确保了光谱的一致性，同时以自适应的方式增强了空间分辨率。

3. 通过在三个广泛使用的遥感数据集上的大量实验，验证了所提出方法在减少分辨率和全分辨率pansharpening任务中的卓越性能。实验结果表明，该方法在多个定量指标和视觉评估方面均优于现有最先进的方法。

本文的研究为pansharpening任务提供了一种新的视角和有效的解决方案，通过引入E型网络和DIAM模块，不仅提升了图像融合的质量，还增强了模型对复杂场景的适应能力。此外，本文的研究也为后续的遥感图像处理技术提供了新的思路和方法，具有重要的理论和应用价值。