D2PCFN：一种用于遥感图像增强（全景锐化）的双域渐进式融合网络

《Computer Vision and Image Understanding》：D2PCFN: Dual domain progressive cross-fusion network for remote sensing image pansharpening

高分辨率多光谱图像生成需有效融合全色与多光谱图像信息，现有方法常忽略跨深度和模态的交互，导致光谱失真和空间细节丢失。本文提出双域渐进跨融合网络（D2PCFN），通过DBFGM提取深层特征，D2CFM实现空间-频率域跨模态交互，DFRM重建高质量输出。实验表明，D2PCFN在SAM、ERGAS、PSNR和HQNR指标上平均提升1.77%、1.70%、0.89%和1.37%，显著优于现有方法。

　　近年来，随着遥感技术的快速发展，高分辨率多光谱（HRMS）图像在环境监测、地质勘探、农业分析和场景分割等领域的重要性日益凸显。HRMS图像不仅保留了丰富的光谱信息，还能清晰展现地表细节，因此对于提升遥感应用的精度和可靠性具有重要意义。然而，直接获取HRMS图像存在诸多挑战，主要体现在传感器设计和物理限制方面。现有的遥感设备通常无法同时满足高空间分辨率和高光谱分辨率的需求，因此需要一种有效的图像融合技术，将低分辨率多光谱（LRMS）图像的光谱信息与高分辨率全色（PAN）图像的空间细节进行整合，从而生成高质量的HRMS图像。

传统的图像融合方法主要依赖于一些简单的特征融合策略，如通道拼接或简单的线性组合。这些方法虽然在一定程度上能够提升图像的分辨率，但在处理复杂的跨模态特征关系方面存在明显不足，导致融合后的图像在光谱信息的准确性和空间细节的保留上表现欠佳。此外，大多数传统方法仅关注于空间域的特征整合，忽略了频率域信息在提升图像质量方面的潜力。频率域分析能够捕捉图像中不同尺度的特征，有助于增强图像的清晰度和结构信息，从而为HRMS图像的生成提供更全面的支持。

近年来，基于深度学习的图像融合方法在提升HRMS图像质量方面取得了显著进展。深度神经网络因其强大的非线性建模能力，能够更有效地学习和整合多源图像的信息。这些方法通常采用损失函数来训练网络，使得融合后的图像能够更好地保留原始图像的光谱和空间特征。例如，一些研究引入了模型驱动的深度先验方法，通过在特征学习过程中融入频率信息，提升融合效果。另一些方法则基于注意力机制设计了更复杂的融合策略，使得网络能够更精准地捕捉图像中的关键细节。

尽管这些深度学习方法在一定程度上改善了传统方法的不足，但在处理多模态和多层级特征之间的复杂关系方面仍然存在局限。现有的方法多采用单一的融合机制，如基本的通道拼接或简单的前馈交互，这些方法虽然能够增强特征的表达能力，但难以在深度层中捕捉到不同模态和深度特征之间的交互关系。这些关系对于生成高质量的HRMS图像至关重要，因为它们直接影响图像的细节保留和光谱信息的准确性。此外，许多方法在融合过程中仅关注空间域的信息整合，忽略了频率域信息在提升图像质量方面的潜在价值。

为了解决这些问题，我们提出了一种新型的双域渐进式跨融合网络（D2PCFN）。该网络通过在空间域和频率域之间建立渐进式的跨融合机制，能够更全面地整合多源图像的信息。首先，我们引入了一个双分支特征生成模块（DBFGM），用于深度特征的提取。该模块能够同时处理来自不同源图像的特征，从而形成更加丰富的特征表示。接着，我们设计了一个双域跨融合模块（D2CFM），该模块能够有效融合空间域和频率域的信息，使得融合后的特征具有更高的表达能力和更完整的结构信息。最后，我们引入了一个深度特征重建模块（DFRM），用于生成高质量的HRMS图像。该模块能够将融合后的特征与原始的LRMS图像进行整合，从而生成更符合实际需求的图像。

D2PCFN的核心创新在于其双域渐进式跨融合机制，这一机制能够有效解决现有方法在跨模态特征关系处理和频率域信息整合方面的不足。通过在空间域和频率域之间建立渐进式的融合路径，D2PCFN能够更全面地捕捉图像中的关键信息，从而提升融合效果。此外，我们还设计了一个联合损失函数，该函数结合了像素级误差和结构相似性，使得网络在训练过程中能够同时优化图像的细节保留和光谱信息的准确性。

为了验证D2PCFN的有效性，我们在多个公开数据集上进行了广泛的实验，包括GaoFen-2、QuickBird、WorldView-3和WorldView-2。实验结果表明，D2PCFN在多个评估指标上均优于现有的领先方法，包括SAM、ERGAS、PSNR和HQNR。其中，SAM指标平均提升了1.77%，ERGAS指标平均提升了1.70%，PSNR指标平均提升了0.89%，HQNR指标平均提升了1.37%。这些结果不仅验证了D2PCFN在提升图像质量方面的有效性，还进一步说明了其在实际应用中的广泛适用性。

此外，我们还进行了消融实验，以评估不同网络结构和参数选择对整体性能的影响。实验结果表明，D2PCFN在各个关键模块的优化下，能够更有效地整合多源图像的信息，从而生成高质量的HRMS图像。这些实验不仅验证了D2PCFN的性能，还进一步说明了其在不同应用场景下的适应性。

在实际应用中，D2PCFN能够有效提升HRMS图像的质量，使得图像在细节保留和光谱信息的准确性方面表现优异。通过在空间域和频率域之间建立渐进式的融合机制，D2PCFN能够更全面地捕捉图像中的关键信息，从而生成更符合实际需求的图像。这一方法不仅适用于遥感图像的融合，还能够为其他领域的图像融合提供参考和借鉴。

总之，D2PCFN的提出为解决遥感图像融合中的关键问题提供了新的思路和方法。通过在空间域和频率域之间建立渐进式的跨融合机制，D2PCFN能够更全面地整合多源图像的信息，从而生成高质量的HRMS图像。这一方法在多个评估指标上均优于现有的领先方法，具有广泛的应用前景。我们相信，随着深度学习技术的不断发展，D2PCFN将为遥感图像融合领域带来更多的创新和突破。