Q-PEIFN：一种基于质量感知的渐进式增强低秩表示的多模态图像融合方法

《Image and Vision Computing》：Q-PEIFN: A multimodal image fusion method based on quality-aware progressive enhanced low-rank representation

　　朱强西|罗向峰 中国上海大学计算机工程与科学学院，上海200444 摘要 本文提出了一种基于质量感知的渐进式增强图像融合网络（Q-PEIFN），以解决现有多模态图像融合方法在边缘保持、细节增强和语义一致性方面的局限性。首先，利用基于掩码的预训练目标检测和语义分割模型提取语义信息，从而实现渐进式的跨模态语义掩码生成机制。随后，低秩表示（LRR）网络将多模态特征分解为包含全局共享结构的低秩成分以及保留模态特定细节的稀疏成分。基于这种分解方式，构建了专家混合（MoE）模块，通过门控网络的引导，让多个专业专家自适应地整合互补信息。此外，还引入了基于质量感知的优化策略，建立实时质量反馈机制，根据生成的图像质量动态调整融合过程。最后，自适应重建层依据质量反馈信息进一步优化融合结果。在MSRS、TNO和RoadScene数据集上的大量实验表明，所提出的Q-PEIFN在定量评估和视觉质量方面均优于现有的先进方法。该算法生成的融合图像具有更好的边缘保持能力、更丰富的细节表现、更高的结构保真度以及更自然的视觉效果，充分证明了其在多模态图像融合任务中的有效性。引言 多模态图像融合（MIF）旨在将来自不同传感器的互补信息整合为统一且信息丰富的表示形式[1]、[2]、[3]。在各种融合任务中，红外-可见光（IR-VIS）图像融合受到了广泛关注，因为红外图像能在恶劣环境下突出显示重要的热目标，而可见光图像则能保留丰富的纹理和外观信息。通过利用两种模态的互补特性，IR-VIS融合既能提升视觉感知质量，还能为后续的检测、分割和跟踪等高级视觉任务提供帮助[4]、[5]、[6]。尽管已经取得了显著进展，但要同时实现结构一致性和细节保留的融合结果仍然具有挑战性。如图1所示，现有的融合方法通常存在模态可靠性不一致、细节缺失、物体边界模糊以及对比度提升不足等问题。这些问题往往会导致融合质量下降，进而降低其在后续视觉任务中的有效性。因此，如何同时保持结构信息、模态特定细节、清晰边界以及感知质量，仍是红外-可见光图像融合领域的核心难题。传统的融合方法主要依赖于多尺度变换、稀疏表示和低秩表示（LRR）[7]、[8]、[9]、[10]、[11]、[12]、[13]。虽然这些方法能够提供可解释的表示结果，但它们严重依赖手工设计的先验知识和启发式融合规则，因此在复杂场景中的适应性较差。近年来，基于深度学习的方法，如CNN、GAN、Transformer和扩散模型，显著提升了特征提取和融合性能[14]、[15]、[16]、[17]、[18]。SeAFusion[19]、SwinFusion[20]、S4Fusion[21]、Diff-IF[22]和SGDFuse[23]等代表性方法进一步增强了语义交互、基于扩散的生成能力以及全局上下文建模功能。然而，大多数现有框架仍然以松散耦合的方式优化表示学习、特征融合和质量提升。结构信息和模态特定细节往往被混同在统一的特征空间中，难以实现自适应协调。此外，分解信息、模态可靠性和融合质量通常被视为独立因素，无法共同指导融合过程。因此，现有方法往往难以在结构保持、细节增强和感知一致性之间实现平衡。一个有前景的解决方案是从分解引导的自适应优化角度来设计融合过程。低秩表示为分离全局共享结构和模态特定的稀疏细节提供了一种可解释的机制[24]。这种分解方式能够自然揭示多模态信息的内在构成，为自适应融合提供重要线索。不过，现有的基于LRR的方法通常将分解视为独立的预处理或中间步骤，不会让分解知识影响后续的融合决策。与此同时，专家混合（MoE）通过将不同输入动态分配给不同的专业专家，展现了在自适应表示学习方面的强大能力[25]、[26]、[27]、[28]、[29]。然而，现有的路由策略通常仅依靠特征激活来决定，很少利用分解特性或模态可靠性。另外，融合质量通常通过固定的损失函数来优化，缺乏能够根据质量变化持续改进融合过程的明确反馈机制。基于这些观察以及图1中总结的挑战，我们提出了一种用于红外-可见光图像融合的基于质量感知的渐进式增强图像融合网络（Q-PEIFN）。与传统直接聚合多模态特征的流程不同，该方法将融合问题视为一种分解引导的自适应优化问题。具体而言，语义可靠性估计首先为表示学习提供模态感知的指导。深度低秩分解模块则明确地将共享的结构信息与模态特定的细节分开，从而得到可解释的分解先验。这些先验进一步通过基于分解意识的专家混合机制推动专家之间的自适应协作，实现有效的结构与细节协调。最后，基于质量感知的反馈优化策略建立了闭环优化流程，不断提升感知一致性和融合质量。通过这一统一的优化流程，分解不再被视为辅助操作，而是成为连接表示学习、自适应融合和质量优化的核心桥梁。本工作的主要贡献如下：•我们将红外-可见光融合问题转化为渐进式的结构-细节优化问题，并提出了一个统一框架，该框架将语义可靠性估计、分解引导的表示学习、自适应专家融合以及基于质量感知的优化有机结合在一起。•我们开发了一种基于分解意识的融合机制，其中低秩结构成分和稀疏细节成分共同指导动态的专家路由，从而实现全局结构与局部细节之间的自适应协调。•我们引入了一种基于质量感知的反馈策略，建立了融合生成与质量评估之间的闭环优化流程，提升了融合的鲁棒性和感知保真度。•大量实验表明，所提出的框架在多个公开基准测试中的表现既高效又优越。相关研究 红外-可见光图像融合已从手工设计的信号处理方法逐步发展为具备语义感知能力和任务导向性的深度融合框架。现有研究主要集中在红外-可见光图像融合、语义引导的表示学习、基于分解的建模以及自适应的质量感知优化方面。尽管已取得显著进展，但大多数现有方法都是独立优化这些组成部分，导致语义元素之间的相互作用有限。方法概述 如图2所示，本文提出了一种基于质量感知的渐进式增强图像融合网络（Q-PEIFN），该网络将红外-可见光图像融合问题视为一种分解引导的优化问题。该框架由四个模块组成：基于可靠性引导的语义先验生成模块、低秩表示学习模块、基于分解意识的专家融合模块以及基于质量感知的反馈优化模块。具体而言，语义可靠性估计用于定位与任务相关的区域，低秩分解模块则用于分离共享的结构信息与模态特定的细节，从而得到可解释的分解先验。这些先验进一步通过基于分解意识的专家混合机制推动专家之间的协作，实现有效的结构与细节协调。最后，基于质量感知的反馈优化策略建立了闭环优化流程，不断提升融合结果的感知一致性和质量。实验 在三个广泛使用的红外-可见光图像融合基准测试数据集上进行了实验：TNO[46]、MSRS[47]和Road-Scene[48]，这些数据集涵盖了监控、城市环境和自动驾驶场景。TNO包含60对对齐的红外-可见光图像，其中46对用于训练，被拆分为41,703个块（大小为128×128，步长为16），另有10对用于测试。MSRS包含1444对图像，其中1,083对用于训练，361对用于测试。Road-Scene包含221对图像。结论 本文提出了一种名为Q-PEIFN的新跨模态图像融合方法。该方法结合了渐进式增强和基于质量感知的优化机制，其目标是准确捕捉多尺度局部特征，同时保留所有的全球结构信息。所提出的框架包括一个能够提升跨模态对齐能力的渐进式语义掩码生成器，以及一个经过改进的专家混合（MoE）模块，该模块通过动态的门控机制实现自适应融合。CRediT作者贡献说明 朱强西：方法设计、形式分析、数据整理、概念构建。罗向峰：实验研究。代码获取方式 如有合理请求，可从相应作者处获取支持本研究结果的代码。所提出方法的完整实现将在论文发表后公开。公开存储的数据 本文研究过程中生成和/或分析的数据集可通过以下链接获取：RoadScene数据集的链接为：https://github.com/hanna-xu/RoadScene，BraTS数据集的链接为：https://www.med.upenn.edu/cbica/brats/?utm_source=chatgpt.com，ADNI数据集的链接为：https://adni.loni.usc.edu/，MSRS数据集的链接为：https://github.com/Linfeng-Tang/MSRS，TNO数据集的链接为：//doi.org/10.6084/m9.figshare.1008029资金支持 本研究未获得任何项目资助。利益冲突声明 作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。