PSG-Net:物理显著性引导的自适应融合网络用于红外与可见光图像融合

《Expert Systems with Applications》:PSG-Net:Physical Saliency Guided Adaptive Fusion Network for Infrared and Visible Image Fusion

【字体: 大 中 小 】 时间:2026年09月22日 来源:Expert Systems with Applications 9.4

编辑推荐:

   •提出了一种物理先验引导的红外观可见光图像融合方法。•通过知识蒸馏将传统掩膜技术与深度学习模型结合的联合框架。•差分注意力通过捕获跨模态差异来引导融合。引言红外和可见光图像融合(IVF)是计算机视觉领域的一个重要研究方向。红外图像(IR)捕获目标发出的热辐射,即使在夜间环境、

  
  • •
    提出了一种物理先验引导的红外观可见光图像融合方法。
  • •
    通过知识蒸馏将传统掩膜技术与深度学习模型结合的联合框架。
  • •
    差分注意力通过捕获跨模态差异来引导融合。

引言

红外和可见光图像融合(IVF)是计算机视觉领域的一个重要研究方向。红外图像(IR)捕获目标发出的热辐射,即使在夜间环境、恶劣天气或部分遮挡等困难条件下,也能清晰地分辨目标。相反,可见光图像(VIS)提供了丰富的上下文纹理和高保真细节。这两种互补模态的协同集成能够生成同时具有显著目标突出性和精细结构细节的复合图像,从而实现更全面、准确的场景表征。这一能力对于显著提高关键应用的环境鲁棒性和决策可靠性至关重要,包括目标检测(Feng, Luo, Lu, Zhai, 2024, Gao, Shen, Li, Yang, Wang, 2024, Jiang, Ren, Yang, Huo, Zhu, Yao, Li, Sun, Yang, 2024, Li, Feng, Hua, 2021b, Yan, Zhu, Zhong, Zhang, Wang, Wang, Zhang, Han, 2025)、态势感知(Su, Li, Hua, 2022, Wanchaitanawong, Tanaka, Shibata, Okutomi, 2024, Xu, Cai, Xiong, Li, 2023, Yang, Qian, Zhu, Wang, Yang, 2022)和自动驾驶(Shopovska, Jovanov, Philips, 2019, Xu, Cai, Li, 2022a, Yang, Yuan, Li, 2024)。
近年来,IVF技术已从传统方法快速过渡到深度学习主导的范式(Ma, Ma, Li, 2019a, Ma, Wang, Li, Yang, Li, Song, Li, 2023, Zhang, Demiris, 2023)。传统方法主要依赖手工设计的算子,如多尺度分解、小波变换和稀疏表示(Li, Shi, Lv, Jia, Liu, Zhao, Zhang, Ma, 2024, Yan, Qin, Li, Zhou, Zong, 2015)。这些方法采用固定规则来选择和重构从两种模态中提取的特征,具有结构清晰和实现简便的优点。然而,在复杂环境中,它们的表达能力往往受到限制,导致其逐渐被深度模型所取代。在深度学习驱动的研究领域,卷积神经网络(CNN)是最早也是最广泛部署的架构。利用其强大的局部特征提取能力,CNN从红外图像中学习热目标信息,同时从可见光图像中捕获纹理和结构细节(Li, Wu, 2019, Li, Wu, Kittler, 2021a, Long, Jia, Zhong, Jiang, Jia, 2021, Zhao, Xu, Zhang, Liang, Zhang, Liu, 2022)。在Transformer架构在计算机视觉领域取得突破后,其全局建模能力已被无缝地纳入融合任务中(Li, Wu, 2024, Tang, He, Liu, Duan, Si, 2023, Vs, Jose Valanarasu, Oza, Patel, 2022, Wang, Chen, Shao, Li, Zhang, 2022)。基于自注意力机制的方法擅长捕获跨越空间和模态边界的长距离特征依赖,实现了红外显著区域与可见光细节区域之间的精确特征交互。同时,生成对抗网络(GANs)因其在图像生成和增强方面的卓越性能而广受关注,已被广泛应用于融合(Huang, Li, Hua, Fan, 2022, Li, Huo, Li, Wang, Feng, 2021c, Li, Lu, Li, Wu, Liu, Jeon, Yang, 2021d, Ma, Yu, Liang, Li, Jiang, 2019b)。生成器与判别器之间的对抗交互促进了更自然、更真实的纹理结构的生成,同时精心保留了红外目标的突出性。此外,扩散模型因其生成高质量图像的固有优势,正逐渐被应用于IVF任务(Wang, Cheng, Li, 2026, Yi, Tang, Zhang, Xu, Ma, 2024, Yuan, Song, Li, 2025, Yue, Fang, Xia, Deng, Ma, 2023)。这些模型通过逐步迭代的噪声重建过程来合成更真实、更复杂、结构更连贯的融合图像。
尽管多模态融合注意力机制取得了进展,但由于未能有效利用热显著性的固有物理先验,IVF中仍然存在关键瓶颈。物理基础表明,红外图像中的热目标本身就构成了一种天然的物理先验,具有高强度、强对比度和锐利边界的特征。理论上,这种热显著性应该为融合网络提供明确的空间注意力引导,优先考虑热目标区域,以整合红外热信息与可见光纹理细节。然而,一个关键的局限性是大多数当前深度融合模型无法将这种物理信息转化为可学习的空间注意力图。相反,现有的注意力模块和融合策略不加区分地对待所有空间位置和模态特征。这种对红外热显著性先验的忽视导致高热区域内的丰富可见光纹理无法得到充分激励和增强,从而导致纹理特征减弱、结构信息丢失和融合图像保真度降低。此外,作为物理约束的红外热显著性包含了区域选择和权重分配的关键空间分布和边界信息。目前,融合框架缺乏专门模块来显式建模和整合这种先验与可学习的特征表示。总之,缺乏对红外热显著性先验的显式建模是限制现有融合框架性能的主要障碍。迫切需要设计能够充分利用热目标物理属性并将其转化为有效指导信号以进行高效精确特征融合的融合策略。
为了实现上述目标并解决现有挑战,我们提出了一种新颖的物理显著性引导自适应融合网络(PSG-Net)。我们的方法首先关注特征提取。红外图像输入通过红外特征掩膜生成器处理以捕获热目标信息。同时,可见光图像输入通过密集残差特征提取器(DRFE)进行特征提取以获取丰富纹理和细节。在高质量双模态特征的基础上,为了有效获取红外显著性先验,我们设计了一种知识蒸馏(KD)机制。傅里叶形态显著性掩膜生成器(FMS-MaskGen)作为教师模型,通过结合离散傅里叶变换和数学形态学的优势来生成准确的热显著性掩膜。同时,掩膜精化网络(MRN)作为学生模型,学习FMS-MaskGen的知识以实现高效准确的显著性掩膜生成。获得掩膜后,我们将其作为核心指导信号集成到融合过程中。掩膜显著性注意力(MSA)模块利用这些掩膜精确调节可见光特征的自注意力,从而将计算资源集中在与热目标对应的可见光区域。这显著增强了目标纹理的提取和保留。并行地,自适应跨模态融合(ACMF)模块负责红外与可见光特征之间的自适应深度交互和信息融合。融合特征最后由重构变换模块解码和重构,恢复其原始分辨率并输出高质量最终融合图像。我们的贡献总结如下:
  • •
    我们利用红外图像中高温目标的物理特性作为有效跨模态融合的关键显著性线索,构建了由该物理先验引导的网络架构。
  • •
    我们提出了一种用于热显著性提取的知识蒸馏(KD)框架,该框架高效地生成结构稳定且边界清晰的热显著性掩膜,有效地将物理先验转化为可学习的空间注意力。
  • •
    我们设计了一种显著性驱动的双路径融合策略,通过MSA模块和ACMF模块,确保了显著区域的有效增强和背景结构的完整保留。

章节摘要

红外和可见光图像融合方法

早期对传统IVF的研究主要围绕手工设计的信号处理框架展开,为多模态融合建立了基础理论和方法论。子空间分解方法(Fu, Cao, Guo, & Huang, 2008)通过将红外和可见光图像映射到低维统计子空间,实现了跨模态主要能量和结构信息的紧凑表示和融合。梯度融合方法(Petrovic & Xydeas, 2004)

概述

我们的主要目标是在融合过程中充分利用和精确利用红外显著性先验,以最大限度地保留可见光图像细节。我们的整体框架如图2所示,主要由DRFE、KD驱动的IR-FMG、ACMF模块、MSA模块和RT模块组成。具体来说,我们首先通过DRFE提取红外和可见光图像的深层特征。随后,基于…设计的一个显著性生成器FMS-MaskGen

实验

本节详细阐述了为IVF任务设计的网络的全面实现和配置细节。随后呈现了实证验证,展示了我们模型的性能并证实了网络结构的架构合理性。

结论

在本研究中,我们提出了一种新颖的PSG-Net,以有效解决红外-可见光图像融合过程中高强度热目标区域可见细节衰减和纹理模糊的关键问题。与仅依赖简单特征叠加且缺乏对热目标显著性和可见纹理保留定向约束的传统融合方法不同,所提出的网络集成了物理驱动的显著性教师模型和可学习的注意力引导,

未引用浮动

缺少引用Figure 1。

CRediT作者贡献声明

Jiajun Song:数据整理,撰写——初稿。Genji Yuan:数据整理,方法论。Jinjiang Li:概念化,软件。

利益冲突声明

Jinjiang Li报告称获得了中国国家自然科学基金的资金支持。如果有其他作者,他们声明没有已知的相互竞争的经济利益或个人关系可能会影响本论文中报告的工作。
Jiajun Song | Genji Yuan | Jinjiang Li
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号