一种基于双向金字塔的渐进式多尺度全色锐化网络

《Engineering Applications of Artificial Intelligence》:A progressive multiscale network for pansharpening with bidirectional pyramids

【字体: 大 中 小 】 时间:2026年08月29日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

   摘要 全色锐化旨在融合高分辨率全色图像与低分辨率多光谱图像,以生成既保留空间细节又保持光谱信息的高分辨率多光谱图像。尽管基于深度学习的方法已取得显著进展,但现有方法往往存在全色图像与多光谱图像之间交互不足、多尺度信息交换受限以及网络复杂度增加等问题。为解决这些局限性,本文提出

  

摘要
全色锐化旨在融合高分辨率全色图像与低分辨率多光谱图像,以生成既保留空间细节又保持光谱信息的高分辨率多光谱图像。尽管基于深度学习的方法已取得显著进展,但现有方法往往存在全色图像与多光谱图像之间交互不足、多尺度信息交换受限以及网络复杂度增加等问题。为解决这些局限性,本文提出了一种用于全色锐化的双向渐进多尺度金字塔融合网络(BPMP-Net)。与传统的基于金字塔的方法不同,所提出的网络在两个内部尺度上进行特征交互,其中低分辨率尺度捕获结构和上下文依赖关系,而原始尺度保留高频细节。特征在全色、多光谱和融合分支之间逐步精化并交换,以促进空间 - 光谱信息集成。多尺度交叉注意力融合模块建模全色与多光谱特征之间的相关性,并自适应地将空间细节注入光谱表示。混洗选择性核注意力特征提取模块增强多尺度特征学习和渐进式细节恢复。此外,空间 - 通道窗口自注意力模块在保持计算效率的同时改善了空间 - 光谱依赖关系建模。结合复合损失函数,所提方法平衡了空间细节增强与光谱保真度保持。在 Maryland、QuickBird 和 WorldView-2 数据集上的实验表明,与代表性的传统方法和基于深度学习的方法相比,所提方法在定量和视觉性能上均表现优越。在 Maryland 上,该方法实现了 30.9098 的峰值信噪比和 0.5444 的无参考质量值;在 QuickBird 上为 36.1375 和 0.6988;在 WorldView-2 上为 38.2136 和 0.7436。消融实验、泛化性和复杂度分析进一步验证了其有效性、鲁棒性和效率。https://github.com/Rui0913/BPMP-Net.git

引言
卫星遥感技术的出现显著推动了农业、环境监测和道路提取等领域的应用(Lu and Weng, 2025, Chen et al., 2025)。遥感卫星主要获取地球表面图像;然而,硬件限制,特别是信噪比施加的限制,阻碍了在单次获取中同时实现高空间分辨率和高光谱分辨率。因此,QuickBird、WorldView-2 和 Maryland 等系统通常提供具有多个光谱波段的多光谱(MS)图像,以及具有更高空间分辨率的全色(PAN)数据。因此,采用全色锐化技术(Yilmaz et al., 2022)来融合 PAN 和 MS 图像,产生具有增强空间 - 光谱保真度的高分辨率多光谱(HRMS)产品,如图 1 所示。具体而言,低分辨率 MS 图像首先被上采样至 PAN 分辨率;上采样后的 MS 图像提供光谱信息,而 PAN 图像提供精细的空间细节。然后,这些互补源被融合以生成 HRMS 图像。
在过去几十年中,已开发了各种方法来解决全色锐化问题,这些方法可系统地分为几个不同的类别。全色锐化方法通常可分为五大类(Vivone et al., 2015):(1) 基于分量替换(CS)的方法;(2) 采用多分辨率分析(MRA)的方法;(3) 结合多种策略的混合技术;(4) 变分优化(VO)驱动的方法;以及 (5) 基于深度学习(DL)的方法。以下段落概述了每一类中的代表性方法。
基于 CS 的方法(Choi et al., 2011, Shahdoosti and Ghassemian, 2016)代表了全色锐化技术的一个经典类别,通过将 MS 图像投影到变换域并用 PAN 图像中相应的特征替换空间分量来增强 MS 图像。由于其计算效率和实现简便,基于 CS 的方法曾作为早期有影响力的全色锐化解决方案。虽然这些方法能有效保留空间细节,但容易发生显著的光谱失真。
基于 MRA 的方法(Liu, 2000, Aiazzi et al., 2003)构成了另一类主要的传统全色锐化技术。这些方法通过注入从 PAN 图像中提取的空间细节来增强首先重采样至 PAN 分辨率的 MS 图像。与基于 CS 的方法相比,基于 MRA 的融合通常提供更高的光谱保真度,但容易受到可能引入空间失真的伪影影响。
混合方法(Yue et al., 2016)整合了基于 CS 和基于 MRA 技术的优势,以同时保留光谱和空间信息,同时减轻它们各自的局限性。
与常规技术不同,基于 VO 的方法(Baronti et al., 2011, Zhang et al., 2012)通过引入预定义先验来约束 HRMS,将全色锐化视为一个正则化逆问题。这些方法采用自适应优化算法构建融合模型,在全色图像、多光谱图像和参考图像之间建立数学关系,然后将其应用于低分辨率 MS 数据以估计 HRMS 输出。
近年来,基于深度学习的方法因其能够从大规模数据中隐式学习强大的先验而备受关注。利用这一能力,基于 DL 的方法已被广泛应用于遥感图像分析(Ma et al., 2019),其中它们自动提取分层特征并捕获复杂关系,从而为高级任务实现更具判别力的表示。尽管大多数现有网络最初并非为全色锐化设计,但它们在遥感图像融合中表现出了强大的性能(Feng et al., 2022)。通过构建具有定制架构和功能单元的卷积神经网络(CNNs)——例如深度残差网络(Yang et al., 2017)、多尺度网络或多深度网络(Yuan et al., 2018)——DL 方法可以通过在卫星数据集上训练来建模 MS 图像、PAN 图像和理想融合输出之间的非线性映射。Masi et al. (2016) 的一项开创性贡献引入了一种专为全色锐化设计的三层 CNN,取得了令人瞩目的结果,并激发了各种后续的基于 CNN 的设计。在这些设计中,源自 ResNet 的残差模块已成为主导范式(Fu et al., 2021)。近年来,无监督网络(Li et al., 2025, Li et al., 2024, Li et al., 2023)也引起了广泛关注。例如,生成对抗网络(GANs)已被应用于图像融合研究(Benzenati et al., 2022),其中生成器合成高质量的融合输出,而判别器评估其真实感,有效减少了传统方法中常见的伪影和噪声。
尽管基于 DL 的全色锐化方法取得了显著进展,但仍存在一些挑战。许多现有方法独立处理 PAN 和 MS 输入,忽视了它们之间的内在相关性。虽然一些网络纳入了多尺度特征以捕获精细的空间细节,但它们在跨尺度集成和跨模态交互方面往往能力有限。此外,即使在包含融合和空间 - 光谱双流道的三分支架构中,仍然缺乏有效的多级跨模态信息交换。
为了应对这些挑战,本文提出了一种用于 PAN–MS 图像融合的双向渐进多尺度金字塔融合网络(BPMP-Net)。BPMP-Net 通过跨尺度、空间感知、多层融合策略捕获空间 - 光谱交互,从而实现更丰富的上下文特征表示,并利用 PAN 图像的固有高频特性来增强空间细节,同时在不同分辨率下保持平衡性能。在所提出的框架中,PAN 和 MS 图像首先分别被下采样和上采样,然后通过多尺度交叉注意力融合模块(MCAB)在匹配的尺度上进行融合。所提出的框架通过混洗选择性核注意力特征提取模块(SKAFE)逐步将局部空间特征和光谱特征整合到主融合分支中,从而促进空间与光谱信息之间的逐渐交互。为了克服局部感受野的限制,引入跨尺度连接来建模长距离依赖关系并捕获多尺度空间与光谱信息,同时空间 - 通道窗口自注意力模块(SCWAB)通过建模空间和通道维度上的像素级相关性进一步增强了上下文聚合。所提出的 BPMP-Net 在减少分辨率和全分辨率下均产生具有准确光谱保真度和连贯空间结构的高质量全色锐化输出,本工作的主要贡献总结如下:
1.设计了一种双向渐进多尺度金字塔融合网络,用于捕获空间 - 光谱 - 模态交互并增强不同分辨率下的特征学习。
2.多尺度交叉注意力融合模块(MCAB)采用交叉注意力和串并联多尺度卷积来捕获全局和局部特征,有效链接 PAN 和 MS 图像之间的相关性。
3.基于自注意力(SA)和选择性核(SK)注意力,所提出的混洗选择性核注意力特征提取(SKAFE)模块有效考虑了宏观级结构和微观级细节,同时通过渐进式恢复策略避免源图像失真。
4.提出了一种空间 - 通道窗口自注意力模块(SCWAB),通过将自注意力计算限制在局部窗口,以低于全局自注意力的计算成本建模空间 - 通道相关性。

章节摘录
用于全色锐化的深度学习方法
卷积神经网络已成为计算机视觉的基础,因为在图像分类中表现出色(Chen et al., 2026, Jin et al., 2025, Jiang et al., 2026, Jiang et al., 2025)。传统超分辨率方法依赖于插值和手工特征提取器,限制了准确性和适应性。深度学习的出现使得基于神经网络的超分辨率方法(Hu et al., 2026)具有显著改进的特征学习能力。一项开创性的
所提方法
本节详细介绍了所提出的 BPMP-Net。为清晰起见,首先介绍方法中使用的符号。随后,概述整体框架,包括特征提取、特征融合和自注意力模块。
实验与性能分析
在本节中,进行了大量实验以评估所提出的 BPMP-Net 的泛化能力。首先描述实验设置,包括数据集、评估指标、比较方法和参数配置。然后,通过在多个卫星数据集上进行定量和定性分析来评估所提出的方法,并将其性能与 12 种代表性的全色锐化方法进行比较,包括传统方法、基于 CNN 的,
结论
本文提出了 BPMP-Net,它由三个核心模块组成:MCAB、SKAFE 和 SCWAB。MCAB 模块采用交叉注意力机制来建模 PAN 和 MS 图像之间的相关性,辅以串并联多尺度卷积以利用多种粒度的信息。SKAFE 模块整合了多尺度卷积、混合注意力机制、多层通道拼接和渐进式重建以增强特征提取和

CRediT 作者贡献声明
Rui Hao: 写作 – 初稿,验证,方法论,调查研究,概念化。Xin Jin: 写作 – 审查与编辑,验证,监督,调查研究,概念化。Shengfa Miao: 写作 – 审查与编辑,监督,概念化。Puming Wang: 写作 – 审查与编辑,监督,概念化。Hongyue Huang: 写作 – 审查与编辑,监督,概念化。Qian Jiang: 写作 – 审查与编辑,监督,概念化。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系,这些关系可能影响本文报告的工作。

致谢
本研究得到国家自然科学基金(编号:62666074, 62261060)、云南省基础研究项目(编号:202301AW070007, 202301AU070210, 202401AT070470)、云南省专家工作站(202305AF150078)、云南省专项(编号:202403AP140021, 202503ZD38001)、云南省教育厅科学研究基金项目(ZC-252511626)以及云南省兴滇人才计划的支持。

Rui Hao|Xin Jin|Shengfa Miao|Puming Wang|Hongyue Huang|Qian Jiang
中国昆明 云南大学软件学院,邮编 650000
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号