FIRGAN:面向下游检测应用的高保真红外 - 可见光多模态融合框架

《Photonics》:FIRGAN: High-Fidelity Infrared–Visible Image Fusion for UAV Detection Tasks

【字体: 大 中 小 】 时间:2026年09月23日 来源:Photonics 2.1

编辑推荐:

   摘要 红外-可见光图像融合旨在为视觉感知和下游视觉任务生成信息丰富的表示。然而,现有方法往往优先考虑视觉质量,而忽视了任务适应性、优化效率以及有效的空间-频率表示学习。为解决这些问题,我们提出了FIRGAN——一种面向下游检测应用的高保真多模态融合框架,该框架联合优化融合质

  摘要红外-可见光图像融合旨在为视觉感知和下游视觉任务生成信息丰富的表示。然而,现有方法往往优先考虑视觉质量,而忽视了任务适应性、优化效率以及有效的空间-频率表示学习。为解决这些问题,我们提出了FIRGAN——一种面向下游检测应用的高保真多模态融合框架,该框架联合优化融合质量和与检测相关的特征表示。具体而言,我们引入了SFFM模块,利用基于MSCN的统计先验实现自适应光谱增强。设计了一个双分支融合网络,通过互补的CNN分支和Transformer分支协同建模局部结构细节与全局语义依赖。此外,我们提出了一种IQA引导的优化策略,通过质量感知的块选择来提高训练效率和鲁棒性。在公开的红外-可见光融合数据集上的大量实验表明,该方法在视觉质量和定量性能方面达到了具有竞争力的水平,同时为下游无人机检测任务提供了更具判别力的表示。这些结果验证了所提框架在面向下游检测应用的多模态融合中的有效性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号