LRSP-Fusion：一种基于低秩与稀疏先验的通用图像融合网络

《Neural Networks》：LRSP-Fusion: A General Image Fusion Network Based on Low-Rank and Sparse Priors

　　

摘要

从同一场景获取的多源图像通常同时包含共性和独特特征，这一特性已被广泛应用于特定的图像融合任务中。现有方法通常仅针对特定融合任务对共性和独特特征进行粗略分离。然而，由于不同图像融合任务中模态图像具有不同的模态特性，现有的特征分离方法不适用于通用图像融合任务。为解决这一问题，我们提出了一种基于低秩和稀疏先验的可解释通用图像融合网络（LRSP-Fusion），用于多源图像融合任务。首先，基于图像矩阵通常为低秩或近似低秩的原理，基于低秩矩阵分解理论设计了共性特征编码器（CFE），用于从多源图像中提取共性特征。然后，根据独特特征的稀疏性，定义了基于稀疏约束的优化模型，并将其对应的独特特征编码器（UFE）通过将稀疏约束问题的迭代过程展开为神经网络来学习多源图像的独特特征。此外，为实现独特特征与共性特征的精确融合，构建了基于熵的特征融合模块（EFFB），实现来自CFE和两个UFE的特征融合。在红外与可见光图像融合、医学图像融合、多曝光图像融合和多焦点图像融合等多种融合任务上进行了大量实验，结果表明我们的方法在客观和主观两方面均优于一些最先进的SOTA方法。

引言

由于不同传感器的成像机制不同，从同一场景获取的图像往往包含互补信息（Yuan, Zhu, Chen, Zhou, Tang, Shu, Liu, 2025, Zhang, Xu, Tian, Jiang, Ma, 2021b, Zhang, Zhao, Li, Zhuang, Sun, Xu, Li, 2024, Zhang, Liu, Sun, Yan, Zhao, Zhang, 2020c）。例如，红外传感器通过捕获热辐射突出重要目标，而可见光传感器通过反射光生成具有丰富纹理细节的图像（Li, Wu, 2018, Tang, Chen, Huang, Ma, 2023a, Wu, Xia, Song, Zhang, Cai, 2020）。RGB-T融合也已应用于双光谱无人机遥感和地面目标理解，进一步证明其在复杂环境条件下的任务场景中具有实用性（Shi, Mengting, Xuesong, Si, Jiashuai, 2025, Zhang, Shi, Wu, Bai, Li, 2026）。此外，正电子发射断层扫描（PET）可以揭示组织的代谢活动，而磁共振成像（MRI）则提供高分辨率的解剖结构信息（Li, Liu, Zhou, Zhang, Kasabov, 2023b, Wen, Qin, Du, Fang, Wei, Chen, Li, 2023）。单一传感器在不同曝光设置下只能捕获其动态范围内的部分信息（Qu, Liu, Wang, Song, 2022, Ram Prabhakar, Sai Srikar, Venkatesh Babu, 2017）。此外，具有不同焦距的相机可以清晰地呈现景深内的物体（Zhang, 2021b）。图像融合的目标是整合多源图像中的互补信息，生成信息丰富的融合图像。图像融合任务大致可分为两大类。第一类是多模态图像融合（MMIF），主要包括红外-可见光图像融合（IVF）和医学图像融合（MIF）。第二类是数字摄影图像融合（DPIF），包含多曝光图像融合（MEF）和多焦点图像融合（MFF）。研究人员为特定任务设计了各种网络架构并取得了显著成果（Huang, Zhang, Yang, Wan, 2025, Li, Wu, Kittler, 2020, Li, Wu, Kittler, 2021）。然而，为特定融合任务设计的网络通常泛化能力较弱，不适用于其他融合任务（Xu, He, Wang, Zhu, Ding, 2023, Zhu, Yang, Lu, Shen, Xie, Zhang, 2022）。

不同图像融合任务的目标相似（Xu, Ma, Le, Jiang, Guo, 2020, Zhang, Ma, 2021, Zhang, Xu, Xiao, Guo, Ma, 2020a），即通过融合不同模态的图像来生成信息丰富的融合图像。因此，通用图像融合框架具有实践意义，因为它可以减少为不同融合场景分别设计和维护任务专用模型的需求，同时提高模型在实际多场景视觉系统中的适应性。许多研究致力于统一多源图像融合任务的通用方法（Cheng, Xu, Wu, 2023, Xing, Liu, Tang, Qian, Zhang, 2024, Xu, Ma, Jiang, Guo, Ling, 2022, Liu, Pi, Gao, Yuan, 2024, Zhang, Liu, Yuan, Li, Liu, 2025）。现有的通用融合方法存在以下局限性：1）如图1(a)所示，使用单一共性编码器来捕获跨模态的共性特征，这将忽略模态特定特征。相比之下，图1(b)中的双编码器设计强调了不同特征的模态特性，却忽略了同一场景中特征的共享表示。2）从网络架构角度来看，内部结构通常涉及堆叠的Transformer（Li, Zhang, Liu, Peng, Wang, Liu, 2024, Tang, He, Liu, Duan, Si, 2023b）和CNN（Luo et al., 2023）操作，导致计算复杂度过高且融合效率降低。

为提取更细粒度的特征，任务专用方法广泛探索了模态间的共性和差异，从而发展出基于特征分解的方法（Xu, Wang, Ma, 2021a, Zhao, Bai, Zhang, Zhang, Xu, Lin, Timofte, Van Gool, 2023b, Zhao, Xu, Zhang, Liu, Zhang, Li, 2020）。这些方法通常将输入的多模态图像分解为粗略的共性和独特特征（Deng, Dragotti, 2020, Li, Xu, Wu, Lu, Kittler, 2023a）。例如，LRRNet（Li et al., 2023a）专为IVF设计，从数学角度解决特征分离问题，将背景信息建模为低秩结构，将显著信息建模为稀疏结构。DeFusion（Liang et al., 2022）引入了一种模态分解策略，将源图像分离为跨模态的共享组件和模态特定组件，从而为通用图像融合方法提供了新视角。然而，DeFusion采用粗粒度的二值掩膜来区分共性和独特特征，可能导致分解不准确。在图像修复中，图像可以分解为表示背景的低秩矩阵和表示异常区域的稀疏矩阵（Wang et al., 2020）。对于图像融合，源图像从同一场景获取，因此共享相同的背景信息，同时表现出模态特定特征。因此，源图像间的共性特征可以表示为共享的低秩矩阵，而模态特定特征对应于捕获模态依赖变化的稀疏矩阵。

基于以上分析，我们将低秩和稀疏先验建模扩展到通用图像融合任务，提出了一种通用融合框架，称为LRSP-Fusion，通过探索源图像特征的内在关系来解决图像融合问题。与现有方法相比，我们的方法提供了两个关键优势。首先，如图1(c)所示，从框架角度来看，我们的方法不仅实现了有效的跨模态交互，还充分利用了模态特定特征。其次，从特征分解角度来看，我们通过严格的数学公式实现了特征解耦，从而避免了依赖经验设计的网络结构。具体来说，LRSP-Fusion由两阶段编码器和两阶段解码器组成。在编码器中，共性特征编码阶段采用基于低秩分解的共性特征编码器（CFE）来提取共性特征，而独特特征编码阶段通过构建两个基于稀疏表示的独特特征编码器（UFE）来提取两个源图像的独特特征。在解码器中，特征融合阶段通过构建基于熵的特征融合模块（EFFB）来实现源图像独特特征与共性特征的融合，并构建特征重建阶段以获取融合图像。我们的贡献总结如下：

• 提出了一种基于低秩和稀疏先验的通用图像融合网络，命名为LRSP-Fusion，通过将共性特征和独特特征分别建模为低秩近似和稀疏约束问题，来解决融合任务中的共性问题。

• 利用非负矩阵分解（NMF）构建CFE来提取输入源图像的共性特征，通过稀疏约束问题的迭代过程展开为神经网络设计UFE来提取不同源图像的独特特征。构建EFFB通过计算不同模态的熵来计算融合系数，自适应地融合独特特征。

• 在多个公开基准数据集上的实验结果表明，我们的方法优于多种最先进的（SOTA）方法，包括通用方法和任务专用方法。

片段

基于特征分解的图像融合方法

在图像融合任务中，从同一场景获取的多源图像通常同时包含共性特征（模态冗余）和独特特征（模态互补性）。利用这一固有特性，许多研究提出了特征分解方法，显著提高了融合性能。这些方法大致可分为两种类型。一种是基于损失约束的方法。DRF（Xu et al., 2021b）采用基于减法的损失函数来最小化…

动机

如前所述，从同一场景获取的多源图像通常同时包含共性和独特特征。这一特性为开发通用图像融合方法提供了坚实基础。在任务专用方法中，大量研究表明共性特征通常对应背景信息，主要由低频分量组成，而独特特征则具有高频域中的显著纹理特征。LRRNet…

实验

我们的实验在一台配备NVIDIA RTX A6000 GPU的机器上进行。我们训练模型300个epoch，初始学习率为2×10??，每100个epoch衰减为原来的0.1倍。使用Adam优化器，批量大小设置为32。对于网络超参数设置，特征通道数C设置为32。在CFE中，矩阵分解的迭代次数设置为6，秩R设置为8。

我们的实验在一台配备NVIDIA…的机器上进行

结论

在本文中，我们提出了一种新颖的方法，基于不同模态图像的固有特征来统一多源图像融合任务，可以有效地满足不同图像融合任务的需求。通过利用图像矩阵的低秩和稀疏先验，设计了两个编码阶段来提取多源图像的共性和独特特征，使特征分解过程更具可解释性。此外，构建了EFFB来整合…

利益冲突声明

作者声明，他们没有已知的竞争经济利益或个人关系可能影响本文所报告的工作。

数据声明

数据将在 https://github.com/yeager415/LRSP-Fusion 发布。

CRediT作者贡献声明

Huang Shuying：初稿撰写、监督、软件、方法论、形式分析、概念化。Xia Xiao：初稿撰写、验证、软件、方法论、调查。Yang Yong：审校与编辑、监督、调查、资金获取、概念化。Wan Weiguo：可视化、验证、调查、资金获取、数据整理。

利益冲突声明

作者没有利益冲突需要声明。

致谢

本工作得到了国家自然科学基金（资助编号62072218和62261025）、天津市自然科学基金（资助编号24JCZDJC00130和25JCZDJC00540）、河北省自然科学基金（资助编号F2025110006和F2025110010）以及天工大学沧州研究所（资助编号TGCYY-Z-0303）的支持。

Huang Shuying | Xia Xiao | Yang Yong | Wan Weiguo