用于红外和可见光图像融合的簇中心引导自适应卷积

《Journal of Visual Communication and Image Representation》：Cluster-center guided adaptive convolution for infrared and visible image fusion

　　

• •
  我们提出了一种面向红外可见光图像融合的聚类感知自适应卷积框架。
• •
  设计功能型图块描述子以指导局部聚类分配。
• •
  利用聚类中心来条件化自适应核，实现局部融合。
• •
  实验结果表明，该方法在融合质量和下游感知任务上均有提升。

引言

红外可见光图像融合旨在将来自异构传感器的互补信息整合为单一图像，以同时支持人眼观察和下游感知任务。红外图像能够捕捉热辐射，在低光照、烟雾和恶劣天气条件下突出显著目标；而可见光图像则提供纹理、边缘、色彩和场景结构信息。这种互补性使得红外可见光图像融合在夜视、监控、自动驾驶、遥感以及高层视觉任务等方面具有重要意义。一个有效的融合方法需要保留可见光结构细节、增强红外目标线索，并抑制可能掩盖融合结果的冗余背景响应。

早期的红外可见光图像融合方法主要依赖手工设计的融合规则、多尺度变换、稀疏表示和基于滤波的分解。这些方法在简单场景中可以取得一定效果，但其固定规则在建模局部结构、语义内容和跨模态互补性方面能力有限。深度学习的引入使红外可见光图像融合转向基于卷积网络、生成模型、统一框架和基于Transformer架构的特征级表示学习。IGNet和MUFusion等近期方法进一步探索了跨模态交互和多尺度融合，为图1中的对比实验提供了强有力的基准。

许多近期方法仍然采用固定或全局共享的融合模式。这种设置存在局限性，因为红外可见光图像对中的局部区域往往承担不同的功能角色。纹理主导区域应保留可见光边缘，热特征区域应维持目标显著性，交互区域应整合一致的跨模态证据，低频区域应保持稳定背景结构。对所有区域应用相同算子会耦合这些目标并引入跨模态干扰。如图1所示，过强的红外响应可能破坏可见光结构，而过度聚合的特征则可能削弱精细的可见光纹理。这些示例表明，关键局限在于缺乏将局部线索类型与合适融合算子直接关联的显式机制。

为了解决这一局限，我们提出了一种聚类中心引导的自适应卷积框架用于红外可见光图像融合。核心思想是利用功能性线索描述每个局部图块，并用所得聚类中心来适配融合算子。所提方法将局部图块分为细节、热特征、交互和低频聚类，并通过各聚类专属的卷积进行处理。这四个聚类反映的是主导性功能偏好而非互斥的语义类别。一个局部区域可能包含多种模态线索，但其分配过程选择的是主处理分支。该设计建立了局部内容类型与融合响应之间的直接联系，在保留可见光结构和红外显著线索的同时减少了跨模态干扰。

该框架包含聚类中心生成模块和簇内自适应卷积模块。第一个模块利用可见光能量、红外能量、跨模态相关性和结构强度构建局部描述子，并据此形成功能性聚类中心。第二个模块将局部图块分配至这些中心，并从相应的聚类信息中预测核缩放因子和偏置项。由此生成的自适应核使细节、热特征、交互和低频聚类在共享统一融合架构的前提下获得不同的卷积响应。

如图2所示，细节响应强调结构区域，热特征响应突出红外显著目标，交互响应覆盖共同支撑区域，低频响应则集中于平滑变化区域。这些模式反映了不同的主导空间偏好，但并不意味着严格分离的响应。

我们在三个红外可见光图像融合数据集和两个下游感知任务上评估了所提方法。结果表明，在信息传递、视觉保真度和边缘保持指标上均取得了优异的综效。下游评估进一步显示，在检测召回率和整体像素准确率上均有提升，而类别级分割指标与最佳竞争结果相当。这些发现表明，显式功能聚类使自适应融合对异构局部内容更具响应性。

本文的主要贡献如下：

• •
  我们将红外可见光图像融合形式化为聚类感知的局部融合问题，并提出了一种面向细节、热特征、交互和低频功能区域的聚类中心引导自适应卷积框架。
• •
  我们设计了一个聚类中心生成模块，从可见光能量、红外能量、跨模态相关性和结构强度构建四维局部描述子，为局部图块路由提供显式功能先验。
• •
  我们开发了一个簇内自适应卷积模块，从聚类信息中预测核缩放因子和偏置项，使不同功能聚类能够由聚类专属的自适应核进行处理。
• •
  我们在三个红外可见光图像融合数据集以及下游检测和分割任务上验证了该框架，结果显示融合指标、检测召回率和整体像素准确率均有提升，同时在类别级分割结果上具有竞争力。

章节片段

红外可见光图像融合

早期的红外可见光图像融合方法主要基于多尺度变换和稀疏表示技术。多尺度分解方法，包括拉普拉斯金字塔融合、基于小波的融合和非下采样轮廓波变换，通过在不同尺度上分离结构和细节分量来融合源信息。稀疏表示方法使用学习到的字典编码图像图块，并利用稀疏性约束来保持模态特定响应。这些方法提供了

概述

如图3所示，所提出的聚类中心引导自适应卷积框架采用编码器-融合-解码器架构用于红外可见光图像融合。给定一张可见光图像和一张红外图像，双分支编码器提取分层的模态特定特征，聚类感知融合模块执行多尺度特征融合，解码器重建融合图像。该框架聚焦于融合阶段，通过识别每个局部的功能角色来进行

实验设置

数据集。 我们在三个红外可见光图像融合数据集上评估所提方法，包括LLVIP、M³FD和MSRS。LLVIP包含成对的低光照可见光图像和红外图像，适合评估弱光照条件下的目标显著性保持。M³FD包含多种驾驶场景和多个交通相关物体类别，适用于检查复杂户外环境中的物体轮廓、道路结构和热响应。

结论

本文提出了一种用于红外可见光图像融合的聚类中心引导自适应卷积框架。该方法利用可见光能量、红外能量、跨模态相关性和结构强度来表示局部图块，然后使用所得的功能性聚类中心来指导细节、热特征、交互和低频区域的聚类专属自适应卷积。通过将局部线索类型与自适应融合算子关联，该框架更好地匹配了

CRediT作者贡献声明

牛雨真：撰写——审阅与编辑、撰写——初稿、验证、方法论、调查研究、经费获取、形式化分析、概念化。任妮：撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、方法论、调查研究、形式化分析、数据管理。陈少通：撰写——审阅与编辑、验证、资源、调查研究。郑兵兵：撰写——审阅与编辑、验证、资源、调查研究。李复生：

利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系，这些因素可能影响本文所报告的工作。

致谢

本工作部分得到国家自然科学基金（资助号62471142）、产学研合作项目（资助号2024H6006）、福建省海洋渔业产业高质量发展促进专项资金2025年项目（资助号FJHYF-L-2025-07-004）以及福建省科技计划项目（资助号2026Y0090）的资助。

牛雨真|任妮|陈少通|郑兵兵|李复生