基于跨模态偏移引导的动态对齐与融合技术，用于弱对齐条件下的无人机目标检测

《Applied Soft Computing》：Cross-modal offset-guided dynamic alignment and fusion for weakly aligned UAV object detection

　　

摘要

无人机目标检测在环境监测和城市安全等领域发挥着重要作用。为提升系统在复杂条件下的稳定性，红外与可见光目标检测通过整合多传感器信息来实现更全面的感知。然而，由于无人机高速运动导致的平台抖动以及红外传感器与可见光传感器之间的成像不同步，不同模态之间常常会出现空间错位。这带来了两大挑战，严重降低了检测性能：一是对应空间位置的语义不一致，二是特征融合时的模态冲突。现有方法往往孤立地解决这些问题，从而限制了其效果。在本文中，我们提出了跨模态偏移引导动态对齐与融合框架（CoDAF），该框架可同时应对弱对齐条件下无人机目标检测中的这两大挑战。CoDAF包含两个创新模块：偏移引导语义对齐模块（OSA），它利用红外引导的注意力机制估算空间偏移，并通过基于共享语义空间的可变形卷积实现更精确的特征对齐；动态注意力引导融合模块（DAFM），它通过门控机制自适应调整各模态的贡献，并通过空间-通道双重注意力机制优化融合后的特征。通过将对齐与融合集成在统一的设计中，CoDAF实现了可靠的无人机目标检测。在标准测试集上的实验验证了该方法的有效性，CoDAF在DroneVehicle数据集上的mAP值达到了78.6%。

引言

无人机进行的目标检测对于多种遥感任务至关重要，包括灾害响应[1]、基础设施检查[2][3]、智慧农业[4]以及行人检测[5]。然而，基于可见光（RGB）图像的传统单模态检测器在低照明或恶劣天气等不利环境中往往表现不佳。为克服这些局限，多模态无人机目标检测方法，尤其是那些整合可见光与红外（RGB-IR）图像的方法[6][7][8]，因能够利用互补的光谱信息，在各种环境条件下实现稳定且全天候的目标检测，而受到了越来越多的关注[9][10]。

尽管将可见光与红外模态相结合能显著提升无人机目标检测的可靠性，但这类多模态系统的有效性在很大程度上取决于传感器之间的空间对齐程度[12]。在实际应用中，实现精确的跨模态对齐在无人机场景中仍面临诸多挑战。平台移动带来的微小姿态变化常常会导致RGB相机与红外相机之间的几何错位[11]。此外，传感器采集延迟造成的成像不同步也会引入空间位移，尤其是在无人机高速飞行时针对动态目标的检测。这些因素共同导致了跨模态差异，使得不同模态之间的测量结果缺乏空间一致性。这种错位不仅增加了测量不确定性，还阻碍了有效的特征融合，最终降低了检测精度和系统的可靠性。

上述的弱对齐情况引发了多模态目标检测中的两大核心问题：**语义不一致**和**模态冲突**。如图1(a)所示，由于空间错位，不同模态下对应的区域无法携带一致的语义内容，从而导致特征对应关系不可靠，进而影响跨模态融合。与此同时，当不同模态的特征呈现出矛盾或冗余的信息时，就会产生模态冲突，这往往会导致物体与背景之间或相邻物体之间出现混淆。如图1(b)所示，模态冲突会削弱具有区分度的细粒度特征，使得物体与背景的边界以及物体之间的区域难以区分。

近年来，已有研究提出了多种策略来解决上述两大问题。Zhang等人[13]提出了一种区域抖动机制，用于实现局部特征层面的对齐，从而缓解弱跨模态对齐问题。但由于缺乏明确的语义监督，该机制难以确保语义对应的一致性。Chen等人[14]提出了一种基于概率集成的无训练方法，通过在输出层融合预测结果来提升系统在不对齐条件下的稳定性。虽然这种方法在一定程度上有效，但它缺乏跨模态特征交互，且过度依赖单模态检测器的性能，因此难以实现精确的语义对齐。Zhang等人[15]试图通过简单的特征拼接来解决模态冲突，但由于没有语义层面的引导，这种方法可能会生成不一致的高级特征表示。值得注意的是，这些方法往往只专注于语义对齐或模态冲突中的某一方面，未能同时解决两者，因此其在提升检测性能方面的效果有限。

为以统一的方式解决上述问题，我们提出了跨模态偏移引导动态对齐与融合框架（CoDAF），这是一个专为弱对齐条件的无人机目标检测设计的自适应对齐与融合框架。CoDAF通过两个核心模块来缓解语义不一致和模态冲突：偏移引导语义对齐模块（OSA）和动态注意力引导融合模块（DAFM）。OSA旨在通过应用基于红外引导的注意力机制到融合后的跨模态特征上，估算出空间偏移，从而解决不同模态下对应位置的语义不一致问题。这些偏移值可用于指导可变形卷积进行空间校正，进一步提升对齐精度。为确保对齐的稳定性和语义一致性，OSA还引入了一个共享特征提取模块（SID），该模块可将两种模态的特征映射到统一的语义空间中，为更准确的偏移预测提供参考，同时减少模态特有的噪声。DAFM则通过两个协同工作的子模块来缓解模态冲突。模态自适应门控网络（MAGN）会根据上下文线索自适应调节各模态的贡献，而双注意力交叉调制模块（DACM）则会共同调节空间和通道层面的特征，从而增强特征之间的语义互补性，抑制冲突。在多个常用数据集上的大量实验结果表明，我们所提出的框架显著提升了弱对齐条件下无人机目标检测的性能。

我们的主要贡献如下：

• •
  为解决弱对齐条件下无人机目标检测中的语义不一致和模态冲突问题，我们提出了一种名为CoDAF的创新框架，该框架将対齐与融合功能集成在统一的设计之中。
• •
  为提升跨模态的空间一致性，我们设计了OSA模块，该模块通过红外引导的注意力机制估算空间偏移，并结合可变形卷积实现特征对齐，同时借助SID模块将特征映射到共享语义空间中，为偏移预测提供指导。
• •
  为增强跨模态特征融合的效果，我们开发了DAFM模块，该模块结合了模态自适应门控网络（MAGN）以实现自适应调节各模态的贡献，同时还通过双注意力交叉调制模块（DACM）在空间和通道维度上优化特征，从而提升特征之间的语义互补性。
• •
  大量实验表明，我们的CoDAF框架在跨模态目标检测基准测试中取得了优异的性能，充分证明了该框架在弱对齐条件下的有效性。

章节节选

空中目标检测

定向目标检测侧重于准确定位具有任意朝向的物体，这一能力在航空影像、场景文本检测以及工业检测中十分重要。与传统依赖水平边界框的检测器不同，定向检测器采用旋转后的边界框，以便更准确地捕捉物体的形状和方向。为了解决角度预测和特征错位等问题，早期的方法如R²CNN[16]和RRPN[17]引入了具有旋转敏感性的机制

所提方法

在第3.1节中，我们介绍了所提出的CoDAF框架的总体结构。在3.2节“偏移引导语义对齐：OSA”和3.3节“动态注意力引导融合模块：DAFM”中，我们分别详细阐述了OSA和DAFM的具体设计。最后，在3.4节中，我们介绍了该框架所使用的损失函数。

实验部分

在本节中，我们首先介绍了所提方法的实现细节。随后，我们对所提出的CoDAF框架与几种现有的先进方法进行了全面比较。最后，我们通过消融实验来评估框架中各个关键组件的作用及其有效性。

结论

在本文中，我们提出了CoDAF框架，这是一种专门用于无人机场景下RGB-IR目标检测的统一框架，它通过两个专门的模块有效解决了弱跨模态对齐所带来的问题。具体而言，所提出的OSA模块利用由跨模态偏移引导的可变形卷积来实现特征的 spatial对齐，同时通过共享语义空间中的对比学习来确保语义一致性。为进一步提升融合的稳定性，DAFM模块能够自适应地选择

CRediT作者贡献声明

刘宗振：撰写——初稿、可视化、验证、软件开发、项目管理、方法设计、形式化分析、数据整理、概念构思。罗辉：撰写——审阅与编辑、验证、指导。王志兴：撰写——审阅与编辑、软件开发、研究工作。彭晓明：撰写——审阅与编辑、验证、指导。左浩瑞：撰写——审阅与编辑、指导、形式化分析、概念构思。张建林：撰写——审阅与编辑，

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

Zongzhen Liu|Hui Luo|Zhixing Wang|Xiaoming Peng|Haorui Zuo|Jianlin Zhang

中国科学院光学场操纵科学技术重点实验室，中国成都610209