《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：LoRAFusion: Infrared and Visible Image Fusion via Low-Rank Adaptation for Multi-Requirement Tasks
编辑推荐：
•将 LoRA 引入 IVIF 以连接静态模型与动态需求。•即插即用的 LoRA 策略，便于在各种 IVIF 模型之间无缝迁移。•三分支特征提取，用于多尺度和多域信息挖掘。•为 LoRA 分支定制训练策略，以满足多样化的任务需求。引言图像融合算法通过有效合成来自多源传感器的互
- •
将 LoRA 引入 IVIF 以连接静态模型与动态需求。
- •
即插即用的 LoRA 策略，便于在各种 IVIF 模型之间无缝迁移。
- •
三分支特征提取，用于多尺度和多域信息挖掘。
- •
为 LoRA 分支定制训练策略，以满足多样化的任务需求。
引言
图像融合算法通过有效合成来自多源传感器的互补数据，缓解了挑战性场景中单模态采集的固有局限性 [1]。在该领域内，红外与可见光图像融合 (IVIF) 已成为学术界和工业界的主要焦点。除简单的数据合成外，其核心价值在于为复杂环境提供稳健的视觉表示。此类稳健表示对于提升下游视觉任务（如目标检测 [2] 和语义分割 [3]）的性能至关重要，尤其是在安全监控 [4]、军事侦察 [5] 和自动驾驶 [6],[7] 等高风险应用中。
随着深度学习的发展，IVIF 的技术格局日益多样化。从架构角度来看，它涵盖了各种研究范式，包括卷积神经网络 (CNN) [8]、自编码器 (AE) [9]、生成对抗网络 (GAN) [10]、变压器 [11] 和扩散模型 [12]。在功能上，现有方案已演变为专门的分支，例如上游联合配准 - 融合 [13]、面向视觉的增强（如纹理保留）[14]、下游检测和分割任务驱动的自适应平衡 [15]，以及针对退化场景的重建 [16]。
尽管取得了显著进展，现有的 IVIF 方法仍面临多重挑战。首先，受限于模拟场景与现实场景之间的域差距，当前方法难以满足多样化退化环境下的融合需求，这阻碍了其在实际应用中的通用性 [17]。此外，在同时处理多个下游任务时，现有方法面临训练复杂度增加和单个任务性能下降的挑战 [15]。如图 1 中 CDDFuse 的融合结果所示 [18]，在退化场景和多样化下游任务需求的交织影响下，现有方法表现不佳。最后，虽然一些研究试图解决多下游任务或多退化环境问题，但统一的联合处理框架仍然缺失，且大多数现有集成模型存在过多的参数冗余。
为了解决这些限制，我们提出了一种利用 LoRA 技术的可扩展融合框架，称为 LoRAFusion。我们的核心策略是构建一个两阶段框架，分别负责基础图像融合和任务特定的适应微调。具体来说，我们首先训练一个通用基础模型来提取源图像特征。该模型依赖于三分支设计，集成了门控空间融合、全局注意力交互和小波变换，以实现多尺度和多域特征的综合提取。随后，针对不同融合需求，我们提出了针对任务特定的微调方案。通过引入逐层门控策略来优化适配器选择，BiGaLoRA 能够以最小的参数开销为特定的下游任务和多样化的退化环境提供灵活定制。如图 1 所示，与基础模型相比，经过 BiGaLoRA 微调后的融合结果在视觉质量和任务适用性方面均表现出显著改进。此外，我们的基于 LoRA 的策略可以集成到各种现有融合框架中。为了清晰地突出我们工作的核心贡献，我们在表 1 中提供了所提方法与几种代表性融合范式的系统性对比。所提的 LoRAFusion 在统一框架内同时实现了退化抑制和下游任务驱动的特征适应，从而实现了一种更通用、更灵活的融合优化策略。总之，我们的主要贡献如下：
- •
我们提出了一种新颖的 IVIF 框架，称为 LoRAFusion。通过引入任务特定的 LoRA 分支进行针对性微调，该框架克服了固定模型在多样化退化和多任务场景下的局限性，同时保持最小的参数开销。
- •
我们提出了 BiGaLoRA，一种层感知 LoRA 策略，集成了结构搜索和逐层门控机制，以实现有效的任务特定参数微调。此外，我们设计了专门针对不同下游需求的任务特定训练方案。
- •
设计了一个集成门控空间融合、全局注意力交互和 Haar 小波高频增强的三分支特征提取模块。该架构实现了对源图像空间纹理、跨模态互补特征和多尺度细节信息的深度挖掘。
章节摘要
基于深度学习的 IVIF 方法
早期的基于深度学习的 IVIF 方法主要关注集成多模态互补信息以提高视觉保真度。当前主流架构涵盖了基于 CNN、AE、GAN、Transformer 和扩散模型的多样化路径。近年来，主流 IVIF 算法在视觉质量和客观指标方面的差距趋于缩小，任务驱动融合逐渐成为该领域的新焦点 [19]。具体而言，SeAFusion [3] 和 TarDAL [2]
方法
在本节中，我们首先介绍所提方法的整体工作流程，如图 2 所示。随后，我们详细阐述了我们针对多样化需求定制的基础模型和 BiGaLoRA 策略。最后，提供了各种损失函数的详细描述。
配置和实现细节
我们提出了该方法与九个 SOTA 方法在多个基准数据集上的全面对比。竞争方法的详细信息总结在表 2 中。基础模型使用来自 MSRS 数据集的 1,082 对训练对进行训练，随后在相应的 361 对测试对上进行评估 [33]。选择不同数据集来训练和测试用于各种任务的 LoRA 分支。具体而言，对于 AWMM 中的雨天和雾天场景
结论
在本文中，我们提出了一种基于 LoRA 的可扩展 IVIF 网络。现有方法通常难以应对多任务要求和较差的泛化能力。为了解决这个问题，我们引入了基于 LoRA 的 PEFT 用于轻量级场景迁移。具体而言，可训练的 BiGaLoRA 分支被插入到冻结的主干网络中，使模型能够以最小的参数开销捕获特定场景信息。我们的特征提取模块集成了多种模式，以捕获多尺度和多域
稿件准备过程中生成式人工智能和人工智能辅助技术的声明
在本工作的准备过程中，作者使用了 Gemini 来改进手稿的语言和可读性。作者根据需要审查和编辑了输出内容，并对论文内容承担全部责任。
CRediT 作者贡献声明
宋亮杰：撰写 – 审阅与编辑，撰写 – 原稿，验证，软件，方法学。徐翰林：撰写 – 原稿，方法学，概念化。刘强：监督，调查。肖刚：监督。Durga Prasad Bavirisetti：调查。
利益冲突声明
作者声明以下财务利益/个人关系，这可能被视为潜在的利益冲突：
刘强报告说，国家自然科学基金创新研究群体项目提供了财政支持。刘强报告说，上海市教育委员会高校能力建设工程提供了财政支持。如果有其他作者，他们声明
宋亮杰 | 徐翰林 | 刘强 | 肖刚 | Durga Prasad Bavirisetti
