MSFFusion:面向全色锐化的多级浅层特征融合网络

《Remote Sensing》:MSFFusion: Multi-Level Shallow Feature Fusion Network for Pansharpening

【字体: 大 中 小 】 时间:2026年09月21日 来源:Remote Sensing 4.3

编辑推荐:

  全色锐化(Pansharpening)旨在通过集成低分辨率多光谱(LRMS)图像的光谱信息与全色(PAN)图像的空间细节来重建高分辨率多光谱(HRMS)图像。尽管基于深度学习的方法已取得显著进展,但它们在特征融合过程中往往未能充分利用浅层特征。由于浅层特征包含

  
全色锐化(Pansharpening)旨在通过集成低分辨率多光谱(LRMS)图像的光谱信息与全色(PAN)图像的空间细节来重建高分辨率多光谱(HRMS)图像。尽管基于深度学习的方法已取得显著进展,但它们在特征融合过程中往往未能充分利用浅层特征。由于浅层特征包含重要的边缘、纹理和局部结构,对这些特征的选择与整合不足可能会削弱空间细节重建并影响光谱保真度。为解决这一问题,研究人员提出了一种多级浅层特征融合网络(MSFFusion),该网络有效利用浅层特征并对跨层级与多尺度特征交互进行建模。具体而言,MSFFusion采用多尺度架构来增强跨分辨率的特征交互。引入记忆特征补充融合块(MFSFB),通过自适应门控逐步融合浅层特征,从而实现有效的特征选择与空间细节保持。此外,设计了多尺度特征聚合块(MFAB)以促进跨尺度特征交互,同时多级特征融合块(MFFB)逐步整合不同层级的特征,从而提升融合性能。大量实验表明,MSFFusion在定量指标和视觉质量方面均优于多种最先进(SOTA)方法。
多级浅层特征融合网络(MSFFusion)用于全色锐化的研究解读

全色锐化(Pansharpening)是遥感图像处理中的重要任务,旨在通过融合低分辨率多光谱(LRMS)图像的光谱信息与全色(PAN)图像的空间细节,重建高分辨率多光谱(HRMS)图像。由于单一传感器难以同时获取高空间分辨率与高光谱分辨率图像,PAN图像提供丰富的空间结构,而LRMS图像保留多波段光谱信息,二者的有效互补对生成高质量的HRMS图像至关重要。现有方法主要分为传统方法和深度学习方法。传统方法包括基于成分替换(CS)、多分辨率分析(MRA)和变分优化(VO)的算法,但常受限于先验假设不当或参数设置不合适,导致空间或光谱失真且计算成本较高。深度学习方法凭借强大的特征表达和非线性建模能力取得了显著进展,然而多数研究集中于深层特征表示或简单的特征聚合,对浅层特征的利用不够充分。浅层特征包含大量边缘、纹理和局部结构,与空间细节的精确重建密切相关。若这些特征被简单跳过或仅通过拼接、卷积等方式粗糙融合,将限制其空间–光谱互补信息的发挥,进而影响融合图像的细节保持与光谱保真。因此,设计一种能够有效利用浅层特征并实现跨尺度、跨层级交互的融合网络具有重要研究意义。

针对上述问题,研究人员提出了多级浅层特征融合网络(MSFFusion)。该网络通过多尺度架构、记忆特征补充融合块(MFSFB)、多尺度特征聚合块(MFAB)和多级特征融合块(MFFB)三个核心模块,逐步选择和整合浅层特征,从而提升空间细节重建能力和光谱保真度。在GaoFen-2(GF2)、WorldView-3(WV3)和QuickBird(QB)三个公开数据集上的大量实验表明,MSFFusion在定量指标和视觉质量上均优于多种传统方法及最先进的深度学习方法。该研究证实,通过自适应门控渐进式融合浅层特征,能够有效保持精细空间结构,并维持光谱一致性,为其他需要同时兼顾空间细节增强与光谱信息保持的遥感图像融合任务提供了有益参考。

在关键技术方法方面,MSFFusion采用三个并行分支构成的多尺度架构,通过上下采样获取不同分辨率的PAN与LRMS输入,以捕捉不同粒度的空间结构。在每个尺度分支内,MFSFB利用基于门控循环单元(GRU)设计的卷积门控循环单元(ConvGRU)对PAN和LRMS浅层特征进行逐步融合,前一级融合结果作为记忆状态指导当前特征的选择与补充。MFAB通过通道重排单元(CRU)和空间展开单元(SUU)实现跨尺度特征交互,增强多尺度表征的一致性。MFFB采用跨阶段特征整合块(CSFIB)逐步融合相邻层级特征,最终生成融合图像。损失函数由L1损失和频率损失(FFL)组成,以约束空间域和频率域的重建质量。实验数据来自PanCollection数据集,其中GF2和QB包含4个光谱波段,WV3包含8个光谱波段;按预设划分训练集(约90%)、验证集(10%)以及各20个降分辨率和全分辨率测试样本,降分辨率实验遵循Wald协议。

研究结果部分,论文首先在降分辨率数据集上评估了所提方法。在GF2、WV3和QB上,MSFFusion在所有评价指标(SCC、SAM、ERGAS、RMSE、SSIM、PSNR)上均取得最优结果,其中在GF2数据集上PSNR比次优方法提高1.34 dB。视觉比较与平均绝对误差(MAE)图进一步显示,该方法重建的边缘更锐利、纹理更清晰,伪影更少,且与真实图像(GT)的残差最小。在WV3上随机选取两个像素绘制的波段光谱差异曲线也表明MSFFusion具有更好的光谱保持能力。

在全分辨率实验中,由于没有GT图像,采用无参考指标QNR、Dλ和Ds进行评估。在GF2数据集上,MSFFusion在QNR和Ds上取得最优,在Dλ上保持竞争力;在WV3数据集上,所有指标均最佳。视觉比较中,该方法生成的图像具有更准确的光谱信息和更清晰的空间结构,验证了模型在全分辨率场景下的泛化能力。

消融研究方面,论文逐一验证了各模块的有效性。去除MFSFB后性能明显下降,说明基于GRU的门控机制对自适应选择PAN与LRMS互补信息至关重要;去除MFAB导致融合性能降低,证明跨尺度特征聚合有助于生成一致的多尺度表征;去除MFFB同样使性能下降,表明渐进式多级整合优于简单的拼接融合。此外,网络深度T和损失权重α的敏感性实验显示,T=4和α=0.5时性能最佳。融合顺序实验表明,先进行跨尺度聚合再进行多级整合能更好地利用不同维度的互补信息。复杂度分析显示,MSFFusion以0.43 M参数和0.1271 s推理时间取得最高PSNR,在性能与效率之间取得了良好平衡。

应用实验方面,研究人员在GF2数据集上采用K-means聚类分类,以Kappa系数和总体精度(OA)为指标。结果表明,由MSFFusion融合图像得到的分类图最接近GT图像对应的分类图,其K和OA值均优于对比方法,说明该融合方法能够为下游遥感应用提供更可靠的空间–光谱信息。

讨论部分总结了MSFFusion的性能提升来源:MFSFB通过门控机制选择性保留浅层细节并抑制冗余;MFAB通过通道-空间互补融合增强跨尺度交互;MFFB渐进整合多级特征以减少信息损失。消融结果与这些设计一致。然而,该方法仍存在两点局限:其一,未显式区分高频与低频成分,限制了空间细节和光谱一致性的选择性增强;其二,GRU门控机制带来额外计算开销。未来工作将探索频域分解与浅层特征的频率感知选择,并设计轻量级门控策略以降低复杂度,同时将框架扩展至高光谱全色锐化及更大规模遥感场景。

研究结论为:本文提出了MSFFusion,一种用于全色锐化的多级浅层特征融合网络。MSFFusion通过逐步利用PAN和LRMS浅层特征,引导不同尺度和层级间的特征融合,从而改善空间细节重建与光谱保持。具体而言,采用三个并行分支的多尺度架构来捕获不同粒度的空间结构;在每个分支内引入MFSFB,通过基于GRU的门控机制渐进融合浅层特征,实现自适应特征选择和有效细节保持。此外,MFAB通过通道重排与空间展开促进跨尺度特征聚合,生成更一致的多尺度表征;MFFB以渐进方式整合层级特征,使不同层级的特征得到更有效的结合。在多个数据集上的大量实验表明,与最先进方法相比,MSFFusion在定量指标和视觉质量上均取得了更优的性能。未来工作将探索频域分解与浅层特征的自适应选择,以更好地指导特征融合,并进一步提升空间细节重建与光谱一致性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号