无需注册的可见热融合技术用于无人机检测

《Information Fusion》：Registration-Free Visible-Thermal Fusion for UAV Detection

　　

• •
  无需图像级预注册的RGB–T融合技术即可检测无人机。
• •
  共享-私有分解机制减少了负面的跨模态信息传递。
• •
  语义关联为残差对齐提供了非局部先验信息。
• •
  双重监督对齐技术能够处理严重的可见光-热成像对齐误差。

引言

由于成本低、机动性强且部署灵活，无人机（UAV）已被广泛应用于城市监控[1]、物流[2]和农业[3]领域。同时，未经授权的无人机也给公共安全和安保带来了日益严重的挑战[5], [6]。因此，准确检测和定位无人机对于后续的反制措施（如警告、跟踪、干扰或拦截[5]）至关重要。与传统物体检测[7]相比，反无人机检测更具挑战性[8], [9]。在远距离情况下，无人机通常只在图像中占据少量像素，并且视觉特征较为微弱。此外，它们常常出现在复杂的背景环境中（如天空、森林和城市场景），云层、鸟类和杂乱结构容易导致误报[10], [11]。

可见光-热成像（RGB–T）融合为这些挑战提供了一种有前景的解决方案[12], [13], [14]。RGB图像提供了丰富的纹理、颜色和边缘信息，而热成像（T）图像则能捕捉热量特征，在低光照或夜间条件下表现更为稳定。这些互补特性在恶劣环境中检测小型无人机时尤为有用。然而，有效的RGB–T融合通常假设两种模态在空间上是对齐的或存在可靠的跨模态对应关系。但在实际的反无人机系统中，这一假设难以满足。

在现实世界的无人机监控场景中，由于双镜头视差、传感器位移、机械振动和时间偏差[15], [16]，RGB–T图像对常常在空间上存在不对齐。手动注册工作繁琐，不适用于实时应用。独立的自动注册方法也存在固有局限，因为它们通常依赖于像素级对齐监督或稳定的跨模态纹理，而在无人机相关场景中这两者都难以获得。更重要的是，注册和融合不应被视为两个孤立的过程；相反，应联合优化以相互增强[17], [18]。因此，如果采用简单的级联流程先进行注册再融合，可能会导致注册误差累积、优化目标不一致以及任务适应性低下。相反，直接将现有的RGB–T融合方法应用于未注册的输入数据可能会引入特征冲突、空间响应混乱和负面信息传递[19]。当同时出现小型目标、大空间位移和模态不平衡时，这些问题会更加严重。

近期研究探索了具有不对齐感知能力的可见光-热成像检测方法[20], [21], [22]。然而，大多数方法针对的是微小扰动或依赖局部对齐，这在较大的RGB–T位移和强烈的模态特异性响应情况下效果有限。这些局限性源于两个方面：首先，直接对齐混合的跨模态特征可能会将模态特异性细节强制融入共享空间，从而导致负面信息传递；其次，局部变形预测器缺乏非局部对应关系，难以应对长距离位移。更可靠的策略是将模态不变结构与模态特异性细节分离，建立粗略的非局部语义对应关系，然后再以任务驱动的方式细化残差变形。

为此，我们提出了“无需注册的可见光-热成像融合用于无人机检测”（RFVTD）框架，该框架可以直接处理未注册的RGB–T图像对，而无需显式的图像级注册。这里的“无需注册”意味着RFVTD不需要图像级预注册或像素级对齐监督，特征级对齐是在检测过程中协同学习的。RFVTD遵循从粗略到细致的特征交互策略：首先，共享-私有分解模块（SPDM）将每种模态的特征分为共享部分和私有部分。共享部分捕获用于跨模态关联和对齐的模态不变结构线索，而私有部分保留模态特定的判别信息；其次，自适应模态语义关联与增强模块（AMSEM）建立RGB和T共享特征之间的粗略双向语义关联，并聚合非局部跨模态线索，推导初始变形先验，并通过考虑可靠性的模态加权来增强对小型无人机的检测效果；最后，双重监督特征对齐模块（DSFA）在双重模态检测监督下细化RGB到T和T到RGB方向的残差变形。通过这种方式，RFVTD避免了依赖预注册的问题，减轻了仅用局部预测器估计大位移的负担。

我们在四个RGB–T基准数据集上评估了RFVTD的性能，包括Anti-UAV [8]、DroneVehicle [23]、DVTOD [22]和LLVIP [24]。这些数据集涵盖了从严重不对齐的无人机图像到对齐良好的低光照场景的各种对齐条件。实验结果表明，RFVTD在不对齐条件下表现出色，在对齐数据上也能保持竞争力。消融实验验证了SPDM、AMSEM和DSFA的贡献，而额外的实际应用评估进一步证明了该框架在复杂背景干扰下的鲁棒性。

主要贡献总结如下：

• •
  我们提出了RFVTD，一个面向检测的无需注册的可见光-热成像框架，可以直接处理未注册的RGB–T图像对，而无需依赖图像级预注册或像素级对齐监督。
• •
  我们设计了一种从粗略到细致的跨模态特征交互方案。SPDM将模态不变的共享线索与模态特定的私有线索分开；AMSEM建立粗略的双向语义关联并推导初始变形先验；DSFA在双重模态检测监督下进一步细化残差变形。
• •
  我们在四个RGB–T基准数据集和额外的实际数据上进行了全面实验。结果表明，RFVTD在具有挑战性的不对齐条件下表现有效，并验证了所提出模块的互补作用。

章节片段

可见光-热成像目标检测

早期的可见光-热成像检测器通常采用双流CNN架构，分别提取RGB和T特征并在不同阶段进行融合。Halfway Fusion [25]比较了几种融合策略，并展示了在中层融合时的有效性[26]。后续方法引入了光照感知门控[27]、基于注意力的跨模态交互[28]和门控融合单元[29], [30]，以动态平衡模态贡献并抑制冗余响应。

概述

图1展示了所提出的RFVTD框架的整体架构。给定一个RGB图像I_R和一个T图像I_T，RFVTD首先提取多尺度模态特定特征，然后通过三个组件进行处理：共享-私有分解模块（SPDM）、自适应模态语义关联与增强模块（AMSEM）和双重监督特征对齐模块（DSFA）。

在本节中，m∈R, T表示一种模态，其中R和T分别代表...

数据集

为了全面评估RFVTD的性能，我们在四个公开的RGB–T基准数据集上进行了实验，这些数据集涵盖了不同注册条件的无人机特定和通用目标检测任务。

结论

在本文中，我们提出了RFVTD，一种无需注册的可见光-热成像融合框架，用于无人机检测。RFVTD可以直接处理未注册的RGB–T图像对，无需图像级预注册或像素级对齐监督。该框架结合了SPDM进行共享-私有特征分解，AMSEM进行粗略的跨模态语义关联和初始变形先验估计，以及DSFA进行渐进式残差特征对齐。通过这种设计，RFVTD实现了...

写作过程中关于生成式AI和AI辅助技术的声明

在准备本工作时，作者使用了ChatGPT（OpenAI）来提升语言表达和可读性。使用该工具后，作者根据需要对内容进行了审查和编辑，并对出版物的内容承担全部责任。

CRediT作者贡献声明

黄胜辉：撰写——原始草稿、验证、软件开发、方法论、概念化。王玉奇：验证、软件开发、方法论、形式分析。邹龙坤：验证、软件开发、方法论、形式分析。党凌伟：验证、数据清理。迟宏宇：验证、数据清理。陈晓培：撰写——审稿与编辑、可视化、数据清理。陈凯：撰写——审稿与编辑、监督、项目管理

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。

黄胜辉|王玉奇|邹龙坤|党凌伟|迟宏宇|陈晓培|陈凯|吴清尧