通过差分驱动的SoftMax融合调整模态贡献以实现RGB-红外目标检测

《Neural Networks》：Adjusting modal contributions via differential-driven SoftMax fusion for RGB-IR object detection

　　

摘要

可见光（RGB）和红外（IR）融合通过利用互补模态增强了复杂环境中的目标检测。然而，在极端分布不平衡下自适应平衡模态贡献仍然具有挑战性，而基于 Transformer 的方法会带来沉重的计算成本。为此，我们提出了 Diff-Fusion，它利用语义准备好的模态间差异来生成空间变化的互补权重，以用于高效的 RGB-IR 检测中的模态贡献。为了提高模态特异性特征编码，我们在预训练编码器上应用轻量级 RGB 和 IR 细节增强适配器。然后，我们设计了自适应差分驱动特征融合（ADFF）模块，以学习融合期间 RGB 和 IR 特征的相对贡献权重。为了为对比驱动融合准备多模态特征，ADFF 首先学习共享的通道级语义权重以构建可比较的空间响应图。最后，ADFF 通过一个无参数的互补门从模态间差异推导出配对的贡献权重，实现上下文感知的特征互补。该设计将模态特异性适应与空间变化、归一化的相对加权相结合，在一个参数高效的融合框架中实现。在 FLIR、LLVIP 和 M³FD 数据集上的大量实验表明，Diff-Fusion 分别达到了领先的报告 mAP 值 50.6%、71.4% 和 54.0%，且具有紧凑的可训练适应和融合模块。这些结果支持了其紧凑适应和空间自适应融合设计在 RGB-IR 目标检测中的有效性。

引言

目标检测仍然是基础的计算机视觉任务，支撑着从自动驾驶（Yang et al., 2024）到智能监控（Li et al., 2024b）的应用。虽然 RGB 传感器提供高分辨率纹理，但在恶劣光照或天气下其可靠性会下降。红外（IR）成像通过捕获热辐射来弥补这些缺陷，提供稳健的边界线索。有效整合这些模态使检测器能够利用不同环境中的互补纹理和轮廓信息。

然而，RGB-IR 融合中的一个关键挑战是模态贡献的自适应调制，特别是在严重的特征分布不平衡下。在实践中，这要求在融合前保留模态特异性细节，并在有用证据在模态之间转移时局部调整 RGB/IR 的相对贡献。如图 1 所示，在场景 1 中 IR 提供更清晰的目标线索，而在场景 2 中 RGB 提供更强细节。这种主导地位的转移表明，一种模态通常主导融合过程，而另一种仅提供补充线索。如果没有一种机制来自适应地加权这些动态贡献，融合过程可能会无意中抑制关键信息或利用不充分互补特征，从而降低检测性能。因此，稳健的检测需要一种系统且严谨的方法来学习多模态特征集成期间的自适应贡献权重。

然而，现有的融合方法往往无法满足这一要求。早期方法通常依赖于简单的策略，如拼接（Liu, Zhang, Wang, & Metaxas, Mazhar, Babu?ka, Kober, 2021, Sun, Zuo, Liu, 2019）或基本的通道级操作（Cao et al., 2022）。这些操作组合了模态特征，但没有指定其相对贡献的明确空间规则。为了改善交互，最近的基于 Transformer 的方法（Guo, Gao, Liu, Meng, Gao, 2024, Qi, Xiang, Qin, Tai, Tan, 2026, Qingyun, Dapeng, & Zhaokui, Wang, Song, Bao, Huang, Yan, 2021, Xie, Shao, Chen, Chen, Jiang, Meng, Ho, 2023, Zhang, Liu, Zhu, Song, Yang, Lei, Qiao, 2025）引入了如双向或可变形注意力等机制以实现全局特征对齐。虽然在捕获长程相关性方面很有效，但这些架构主要关注全局互补学习，缺乏处理模态不平衡的明确细粒度机制。因此，它们在特征分布严重偏斜时精确调整模态贡献的能力仍然有限。更近期的努力，如 COFNet（Zhou et al., 2025）和 SLGNet（Xiang et al., 2026），探索了噪声抑制、结构先验和环境调制；然而，在严重的模态不平衡下同时实现显式细粒度贡献分配和紧凑融合设计仍然具有挑战性。

除了融合策略的局限性之外，当前的架构选择往往会产生难以承受的计算和内存开销。标准双分支编码器（Liu, Tan, He, Xiao, 2021b, Shen, Chen, Liu, Zuo, Fan, Yang, 2024）显著增加了参数量，而基于 Transformer 的框架（Guo, Gao, Liu, Meng, Gao, 2024, Wang, Song, Bao, Huang, Yan, 2021, Xie, Shao, Chen, Chen, Jiang, Meng, Ho, 2023）遭受高复杂性困扰，特别是在高分辨率输入时，阻碍了实时部署。

为了克服这些挑战，我们引入了 Diff-Fusion，一种简单但有效的差分驱动自适应融合网络，用于 RGB-IR 目标检测。Diff-Fusion 通过显式调制 RGB 和 IR 特征的贡献，利用差分驱动自适应融合设计，结合紧凑的可训练适应和融合模块，实现了高效的多模态集成。

首先，为了有效提取 RGB 特异性和 IR 特异性特征，我们采用了增强有两个细节增强适配器（DE-Adapters）的预训练编码器，分别用于 RGB 和 IR 特征。DE-Adapters 使编码器能够自适应地提取模态特异性特征。为了捕获来自 RGB 的丰富纹理和来自 IR 的轮廓特征，同时保持方法论的简单性，我们分别为 RGB 和 IR 特征配置了预训练编码器的 DE-Adapters。这种轻量级设计确保编码器能够在没有显著参数增加的情况下有效处理多样化的多模态输入。

其次，我们设计了 ADFF 以耦合共享语义准备和空间自适应模态加权。FDP 推导出联合通道参考并构建可比较的 RGB 和 IR 响应图。MDAF 利用它们的带符号空间差异来分配互补权重，然后将这些权重应用于完整的模态特征。这将有用于确定相对贡献的证据与保留用于融合的内容分离开来。

通过集成这些组件，Diff-Fusion 通过简单而强大的流程实现了 RGB-IR 特征的细粒度和自适应融合。

总之，我们的主要贡献如下：

• •
  为了实现资源节约的多模态特征提取，我们为每种模态提出了一种轻量级 DE-Adapter。DE-Adapter 使编码器能够以高参数效率捕获丰富的 RGB 纹理和 IR 轮廓特征。该设计支持在多模态输入的有效处理，而不会产生巨大的计算成本。
• •
  我们提出了 ADFF 以在共同推导的语义通道参考下构建空间模态间对比。准备好的对比决定了互补的 RGB 和 IR 权重，而完整的模态特征则保留用于最终融合。该设计在紧凑的模块中将共享语义准备与局部贡献分配相结合。
• •
  我们的 Diff-Fusion 框架将编码器适应与差分驱动的融合机制相结合，以自适应地融合用于目标检测的多模态特征。该框架结合了模态特异性特征适应和空间自适应相对融合；其性能和可训练参数开销在三个公共 RGB-IR 基准上进行了评估。

章节片段

检测中的 RGB-IR 融合

深度学习显著推进了目标检测，诸如 R-CNN（Ren et al., 2017）、YOLO（Redmon and Farhadi, 2018）和 DETR（Carion et al., 2020）等架构在 RGB 图像上取得了高性能。然而，这些模型仍然对光照变化、低光条件以及 RGB 数据经常失效的恶劣天气场景敏感。IR 成像通过提供互补信息来缓解这些局限性，以实现更稳健的检测。

近期的进展

整体架构

所提出的 Diff-Fusion 由三个主要组件组成，如图 2 所示：一个增强有轻量级 RGB 和 IR DE-Adapters 的预训练多尺度特征编码器，一个自适应差分驱动特征融合模块，以及 RT-DETR（Zhao et al., 2024）的检测头。

在多模态特征编码器中，我们采用了在 COCO（Lin et al., 2014）上预训练的冻结多尺度 ResNet-50（He et al., 2016）编码器。为了实现模态特异性特征提取，我们引入了单独的

实验设置

Diff-Fusion 和所有受控变体均在 PyTorch 中实现。Diff-Fusion 旨在进行轻量级和高效的自适应多模态融合，将 DE-Adapters 和 ADFF 模块集成到预训练编码器中。

我们在三个公共 RGB-IR 数据集上将 Diff-Fusion 与近期 SOTA 方法进行对比：FLIR（Zhang et al., 2020）、LLVIP（Jia et al., 2021）和 M³FD（Liu et al., 2022），这些数据集涵盖了多样化的场景和对象尺度。我们报告 COCO 风格 mAP（在 IoU 阈值上平均

结论

我们提出了用于 RGB-IR 目标检测的 Diff-Fusion。模态特异性 DE-Adapters 支持以紧凑的可训练参数集进行特征提取。ADFF 然后在共享的语义通道参考下构建 RGB 和 IR 空间响应，并利用它们的带符号差异来分配互补融合权重。完整的模态特征被保留用于最终加权求和。在三个公共数据集上的实验和受控模块对比支持了检测性能和

CRediT 作者贡献声明

Hang Yu: 撰写 – 初稿，可视化，软件，方法学。Jun Zhang: 撰写 – 初稿，方法学。Rui Ding: 撰写 – 审阅与编辑，软件。Boya Wei: 撰写 – 初稿，可视化，方法学。Wanli Dang: 可视化，监督。Jing Nie: 撰写 – 审阅与编辑，方法学。Lihui Chen: 撰写 – 审阅与编辑，验证，监督。Xichuan Zhou: 撰写 – 审阅与编辑，监督，资源。Haijun Liu: 撰写 – 初稿，

利益冲突声明

作者声明他们没有任何已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文报告的工作。

致谢

这项工作部分得到了国家自然科学基金（62301092 和 62301093）的支持。

Hang Yu|Jun Zhang|Rui Ding|Boya Wei|Wanli Dang|Jing Nie|Lihui Chen|Xichuan Zhou|Haijun Liu