基于对应关系感知的互补融合方法：对图像锐化的重新思考

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Rethinking Pansharpening via Correspondence-Aware Complementary Fusion

　　

摘要：

全色增强技术旨在将全色图像的高空间分辨率与多光谱图像丰富的光谱信息相结合，从而生成高分辨率的多光谱图像。然而，现有的大多数方法采用无约束的跨模态融合策略，忽视了全色数据和多光谱数据固有的模态特性。这通常会导致信息交互效率低下，且在空间细节提升与光谱保真度之间难以取得理想的平衡。为克服这一局限，我们提出了CCFNet，这是一种基于对应关系感知的互补融合网络，它将全色增强重新定义为一种具有像素感知能力且模态一致的信息交换过程。该网络明确地将跨模态交互限制在空间上对应的特征上，并通过跨模态互补注意力模块进一步实现高效且局部的双向信息交换。为在融合前优化单模态表示，CCFNet还包含了语义引导增强模块，用于选择性地强化全色图像中空间上突出的结构；同时还有稀疏令牌注意力模块，用于捕捉多光谱图像中的关键光谱依赖关系。在WorldView-3、QuickBird和GaoFen-2等基准数据集上的大量实验表明，CCFNet的性能优于现有的各种方法。我们的代码可在https://github.com/zhangxc0105/CCFNet获取。