《Information Fusion》：DFAS-CMA: A Decoupled Feature Adaptive Sharing and Cross-Modulation Approach for UAV Multi-Source Object Detection
编辑推荐：
针对无人机在复杂场景中红外-可见光多源图像目标检测精度不足的问题，提出DFAS-CMA框架，通过空间-通道解耦重参数化网络提取特征、自适应特征共享机制融合多源数据，以及多尺度交叉调制聚合策略提升小目标检测能力，实验验证在VTUAV-Det和DroneVehicle数据集上mAP分别提升3.3%和7.1%。
Xuehu Duan|Xiangqing Liu|Zihao Li|Jun Lei|Shuohao Li|Jun Zhang
国防科技大学系统工程学院，中国湖南长沙410073
摘要
红外-可见光图像目标检测（IVIOD）算法通过融合红外和可见光图像的互补特性，解决了在复杂场景中单一光源导致的目标检测精度下降的问题。目前，针对无人机的IVIOD研究较少，且大多数方法未能充分考虑传感器模态差异和不平衡问题，从而无法有效提高融合异构数据时的检测精度。为了解决这些问题，我们提出了一种基于解耦特征自适应共享和跨调制方法（DFAS-CMA）的端到端多源图像目标检测框架，旨在提高无人机在红外和可见光图像中的目标检测精度。DFAS-CMA采用空间-通道解耦的重参数化网络从多源图像的不同维度提取解耦特征，有效捕获小目标信息并优化特征提取过程。随后提出了一种自适应特征权重共享机制，通过自适应融合异构数据来有效缓解传感器模态差异和不平衡问题。最后，为了提高DFAS-CMA在目标多尺度变化场景中的鲁棒性，引入了多尺度特征跨调制聚合策略。实验结果表明，该方法在VTUAV-Det数据集上将mAP_0.5和mAP_0.5:0.95分别提高了3.3%和3.0%；在DroneVehicle数据集上，mAP_0.5和mAP_0.5:0.95分别提高了7.1%和7.0%，证明了DFAS-CMA在提升多源图像目标检测精度和泛化能力方面的优越性。
引言
随着深度学习技术的发展，无人机（UAV）在军事侦察和边境安全领域的目标感知能力得到了显著提升，利用光学传感器和感知系统提供关键信息。然而，在目标与背景耦合较强的环境中，单一传感器存在固有局限性，难以满足复杂任务需求。红外（IR）图像通过测量物体发出的热辐射来捕获信息，但存在分辨率低、图像模糊和目标结构信息有限的问题。相比之下，可见光（VI）图像提供了更丰富的纹理信息。因此，结合红外和可见光图像的多源目标检测方法是提升无人机在复杂环境中感知能力的有效途径。
目前，针对传统目标检测任务的研究相对成熟，如YOLOv11 [1]、YOLOv12 [2]、RTDETR [3]等。但这些方法通常仅适用于光照充足且目标与背景耦合较弱的可见光图像目标检测场景。为实现全时域目标检测，研究人员不断提出新的理论和方法。目前主流方法采用融合后检测的两阶段策略，通过设计各种图像融合框架生成高视觉保真度的融合图像，并基于融合图像进行目标检测。例如，U2Fusion [4]通过设计无监督图像融合网络来解决图像融合数据中缺乏真实标签的问题，该网络自动估计源图像的显著性并输出融合图像。
这些方法将图像融合和目标检测视为两个独立的优化任务，导致优化方向难以保持一致。此外，融合图像常伴有伪影和冗余信息，这在一定程度上影响了后续目标检测任务的精度。为避免图像级融合带来的信息污染，研究人员逐渐将研究重点转向特征级的跨模态融合方法。例如，EcffNet [5]和CFT [6]通过跨模态特征交互和注意力机制，在多源显著性检测和多光谱目标检测任务中展示了跨模态特征融合的有效性。然而，上述方法主要针对地面固定视角场景设计，难以直接应用于无人机平台，因为在这些场景中目标规模较小且背景复杂。因此，如何充分提取两种模态的互补信息并有效实现特征共享以提供更丰富的目标信息成为一个重要问题。
为了解决上述问题，我们提出了一种基于解耦特征自适应共享和跨调制的端到端多源图像目标检测新架构。其与其他方法的性能对比如图1所示。该架构能够自适应地深度融合可见光-红外图像的不同模态互补信息，输出准确且鲁棒的检测结果。
为了使所提方法有效分离可见光-红外图像中的目标信息与背景，设计了一种空间-通道解耦的重参数化特征提取网络（SCDR），以提高模型在复杂场景中提取不同模态互补信息的能力。此外，还提出了一种自适应特征共享机制（AFWS），通过共享调制信息并抑制背景噪声，从而增强模型对关键信息的关注。在此基础上，设计了多尺度特征跨调制策略（MulFCM），以提高模型在无人机检测场景中对多尺度目标的适应能力。该策略通过在不同层次上跨调制尺度信息，有效融合多尺度特征并增强模型的鲁棒性。总之，DFAS-CMA能够在无人机场景中实现端到端多源图像检测，并具备以下主要贡献：
•端到端：提出了一种新的无人机红外-可见光图像检测框架，旨在解决异构数据差异和不平衡对检测精度的影响。该框架关注三个方面：特征解耦、自适应融合和多尺度聚合。采用端到端自适应特征共享策略，克服数据差异带来的挑战，显著提高目标检测的精度和鲁棒性。
•特征解耦：提出了一种空间-通道解耦的重参数化特征提取网络，在训练阶段采用多分支结构，在推理阶段采用单分支优化策略。该方法降低了计算复杂度，同时提高了模型从不同源特征中提取互补信息的能力。
•自适应融合：为了解决多源目标检测中“一刀切”共享方法导致的性能瓶颈，我们设计了一种自适应共享机制，能够动态学习来自不同源的信息。
•多尺度聚合：提出了一种自适应多尺度跨调制策略，通过实现空间和通道维度上的双向信息交换，解决了由于目标尺寸变化较大导致的检测精度和鲁棒性下降问题。
本文的其余部分安排如下：第2章概述了多源图像目标检测研究的现状；第3章详细介绍了我们提出方法的原理；第4章描述了实验环境，并通过实验比较和消融研究验证了该方法的有效性；第5章总结了本文的工作内容并讨论了下一步计划。
节选内容
两阶段方法
最近，深度学习驱动的多源图像融合技术在提升红外-可见光融合性能方面取得了显著进展。为了解决红外和可见光图像之间的差异，研究人员提出了多种方法来优化高级视觉模型在多源感知任务中的性能。大多数工作侧重于通过补充特征融合、多尺度卷积和自注意力来处理异构数据之间的差异。
整体框架
为了解决多源数据的统一表示、模态不平衡以及小目标多尺度变化导致的框架精度下降问题，我们提出了DFAS-CMA算法。整体框架如图2所示，包括四个主要部分：空间-通道解耦的重参数化特征提取网络、自适应特征共享机制、多尺度跨调制策略和目标检测器。
实验
为了验证所提模型在无人机多源图像目标检测任务中的有效性和鲁棒性，我们从多个角度进行了全面实验。首先，在4.1小节详细介绍了实验环境和参数设置；然后，在4.2小节阐述了相关数据集的处理过程；接着，基于VTUAV-Det和DroneVehicle数据集，对DFAS-CMA模型进行了定量和定性分析。
结论
提出了一种基于解耦特征自适应共享和跨调制的无人机多源图像目标检测新框架。该框架旨在实现端到端的红外-可见光图像目标检测，通过有效分离目标和背景信息，实现多源特征自适应共享和多级尺度融合，从而解决模态差异和数据不平衡问题，最终提高目标检测精度。
CRediT作者贡献声明
Xuehu Duan：撰写——原始草案、可视化、方法论、研究。Xiangqing Liu：撰写——审阅与编辑、概念化。Zihao Li：撰写——审阅与编辑、研究、形式分析。Jun Lei：撰写——审阅与编辑、监督、资源协调。Shuohao Li：验证、数据整理。Jun Zhang：撰写——审阅与编辑、监督。
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。
