DAMFusion：一个端到端的、具有退化感知能力的多模态图像融合框架

《Neural Networks》：DAMFusion: An End-to-End Degradation-Aware Multi-Modal Image Fusion Framework

　　

• •
  本文提出了一种新颖的多模态图像融合框架，该框架将专家混合（MoE）集成到自编码器架构中。通过利用MoE强大的自适应路由能力，该框架有效缓解了源图像中多样化且复杂的退化问题。
• •
  设计了两种异构专家网络：用于编码和解码阶段的结构专家网络，以及用于特征融合阶段的融合专家网络。这种设计实现了对各种退化类型和多模态输入的差异化建模和精细处理。
• •
  引入了基于Kullback–Leibler（KL）散度的互信息损失函数，以强制专家路由的稀疏性，从而增强了专家选择的多样性和有效性。
• •
  广泛的实验结果表明，所提出的方法在红外-可见光和医学图像融合任务中具有显著优势，在具有复合退化的场景中表现出更强的鲁棒性和融合性能。
• •
  扩展实验表明，所提出的融合方法显著提升了下游目标检测的性能，显示出强大的判别能力和对高精度检测的可靠支持。

引言

多模态图像融合（Karim等人，2023年）旨在有效整合来自异构传感器或成像模态的互补信息，生成保留每个源图像优势的融合图像，同时提供更丰富的表示。这种融合数据为场景理解和高级视觉任务提供了坚实的基础。在各种融合任务中，红外-可见光图像融合（Zhang和Demiris，2023年）和医学图像融合（Hermessi等人，2021年）最具代表性。如图1所示，红外-可见光图像融合结合了红外图像的热量线索和可见光图像的精细结构细节，生成了增强场景理解和目标识别的融合结果。相比之下，医学图像融合结合了功能图像传达的代谢和生理信息与结构图像揭示的解剖细节，产生了支持准确诊断和有效治疗的图像。由于多模态图像融合能够整合信息并提升视觉质量，它在智能医疗（Zhu等人，2023年）、夜间驾驶辅助（Bao等人，2023年）和目标检测（Jain等人，2023年）等领域得到了广泛应用。近年来，多模态图像融合受到了越来越多的关注，提出了许多算法来追求更好的视觉质量。第2节将对代表性的方法进行详细回顾。尽管取得了显著进展，但许多现有方法是针对理想化条件设计的，忽略了现实世界采集过程中出现的退化问题。有限的采集环境经常引入噪声、模糊和低分辨率，大大降低了融合质量。例如，低照明或过度曝光会扭曲可见光图像；红外图像容易受到热噪声的影响并且对比度降低；而医学图像（CT、MRI、PET）可能会受到噪声、运动伪影或信噪比低的影响。如图2所示，直接融合退化的输入而忽略这些问题（Ma等人，2020年）通常会导致较差的结果。

一个直接的做法是采用两阶段流程，在融合前对源图像进行预处理（Tang等人，2023年）。尽管这种方法在某种程度上有效，但它缺乏意识和适应性：需要手动识别退化类型并选择模型。真实图像经常遭受复合退化，如噪声、低对比度和不良照明。单一的增强模型无法处理这些问题，多个模型之间的协作也常常受到限制。例如，在照明不足和噪声较大的场景中，先进行亮度增强会放大暗区域的噪声，而先进行去噪可能会模糊边缘或去除纹理。因此，迫切需要开发一种通用の自适应图像融合框架，能够在复杂的退化情况下实现高效、准确和鲁棒的融合。

为了解决上述挑战，本文提出了一种端到端的退化感知多模态图像融合框架，称为DAMFusion，该框架将专家混合（MoE）集成到自编码器（AE）框架中。利用MoE的自适应能力，该框架有效地结合了不同模态的互补信息，并解决了退化图像带来的挑战。MoE（Mu和Lin，2025年）根据输入特征自动选择最佳专家子网络，实现了高效的多模态融合，同时保持紧凑的架构。此外，通过对比语言-图像预训练（CLIP）（Radford等人，2021年）生成的退化感知图像嵌入与多级MoE编码器-解码器的潜在特征共同建模。这种联合建模使网络能够在语义先验的指导下，自适应地对齐退化模式和重建目标，从而在更细粒度和鲁棒性方面实现融合。为了进一步提高适应性，将Kullback–Leibler（KL）散度（Cui等人，2024年）约束引入到MoE路由中，强制专家选择的稀疏性和多样性，减少输入之间的过度重叠，并在复合退化情况下增强鲁棒性。通过这个统一的框架，DAMFusion能够有效处理多种退化场景，同时保留显著的目标并捕捉丰富的场景细节，从而实现既鲁棒又精细的融合。

虽然这项工作主要关注红外-可见光图像融合，但所提出的方法进一步扩展到了医学图像融合，因为退化问题是各种多模态图像中常见的。这两种场景都包含在讨论和比较中。总之，本文的主要贡献如下：

• •
  提出了一种新颖的多模态图像融合框架，该框架将专家混合（MoE）集成到自编码器架构中。通过利用MoE强大的自适应路由能力，该框架有效缓解了源图像中多样化且复杂的退化问题。
• •
  设计了两种异构专家网络：用于编码和解码阶段的结构专家网络，以及用于特征融合阶段的融合专家网络。这种设计实现了对各种退化类型和多模态输入的差异化建模和精细处理。此外，引入了基于Kullback–Leibler（KL）散度的互信息损失函数，以强制专家路由的稀疏性，从而增强了专家选择的多样性和有效性。
• •
  广泛的实验结果表明，所提出的方法在红外-可见光和医学图像融合任务中具有显著优势，在具有复合退化的场景中表现出更强的鲁棒性和融合性能。

章节片段

相关工作

本节系统回顾了代表性的图像融合方法。我们将讨论分为三个方面：传统融合方法、基于深度学习的融合方法和退化感知融合方法，重点关注红外-可见光和医学图像融合。

方法

如图3所示，所提出的模型建立在具有两阶段学习策略的自编码器框架之上。第一阶段强调退化建模，其中采用图像恢复作为代理任务。退化图像被输入到自编码器中，使编码器在恢复过程中明确捕获各种退化模式，并生成适应不同模态的编码器E_v和E_i。第二阶段处理融合和重建，其中退化图像被...

实验

实验对于测试算法的性能和可行性至关重要。本章使用标准数据集和指标系统评估所提出算法的有效性和鲁棒性。

结论

本文提出了DAMFusion，这是一种端到端的退化感知融合框架，解决了现有多模态图像融合方法的局限性，特别是在噪声、低对比度和低分辨率等复杂退化场景中。虽然当前方法在适应性方面常常遇到困难，但DAMFusion结合了自编码器（AE）和专家混合（MoE）网络，并通过基于CLIP的语义指导进行了增强，实现了自适应特征建模和精细融合。

未引用参考文献

Bhutto等人（2022年）；Zhang等人（2022年）

CRediT作者贡献声明

马俊杰：写作 – 审稿与编辑，原创草稿，可视化，验证，软件，方法论，调查，形式分析，数据整理，概念化。胡鹏：监督，资源管理，项目管理，方法论，概念化。李毅：写作 – 审稿与编辑。

利益冲突声明

作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。

致谢

本工作得到了安徽科技学院高层次人才科研启动基金（项目编号2021yjrc41）、安徽省科技创新重点计划（项目编号202523t06050002）、安徽科技学院青年骨干基金项目（项目编号QNZD2021-02）以及安徽省高校自然科学研究重点计划（项目编号2022AH050801）的支持。

马俊杰 | 胡鹏 | 李毅