基于局部与全局语义特征关联的跨模态融合方法，用于航空可见光与红外图像中难以区分的目标检测

《Neural Networks》：Cross-Modality Fusion with Local and Global Semantic Feature Correlation for Weakly Distinguishable Object Detection in Aerial Visible and Infrared Images

　　

• •
  提出了CFLGNet用于检测难以区分的物体。
• •
  该方法利用局部与全局的语义特征相关性。
• •
  我们建立了空间特征之间相互作用的隐藏状态空间。
• •
  即便特征不完整，也能识别出那些难以区分的物体。

引言

得益于深度学习技术的进步，现有的物体检测算法已取得显著发展，成为自动驾驶、人脸识别、医学图像分析以及工业质量检测等诸多领域中的重要工具。

作为物体检测的一个子领域，难以区分的物体检测相比传统物体检测任务更具挑战性。这主要是因为很难提取出物体与背景之间的差异特征。由于仅依靠单模态方法难以解决这一问题，Liu等人（2025年）、Meng等人（2025年）以及Zhongxia等人（2025年）的研究都致力于采用多模态方法来应对这一挑战。然而，当RGB图像和红外图像中的前景物体与背景相似时，这些方法的性能就会下降，如图1(a)所示。针对这类难以区分的物体，我们发现了一些可用的关键线索。以伪装物体为例（见图1(b)中的人和车辆），无论是前景物体还是背景区域，都可以通过一组基本语义元素的空间相关性来描述。因此，难以区分的物体检测无法仅依靠单个像素来完成，而需要利用局部模式的空间统计特征作为区分依据，分析局部区域内的模式。这些特征主要包括：物体与背景在局部区域内会表现出一定程度的语义特征重复性，同一颜色范围内的局部语义信息较为相似，而不同颜色范围内的则存在差异。此外，物体与背景的局部语义特征在空间排列上也存在一定相关性，即整体由不同的颜色区域连接而成，这种局部与空间的语义分布规律有助于揭示物体与背景的差异。换言之，背景与物体具有不同的语义关联规则，而物体的语义关联规则与其自身形状密切相关。例如，藏在树洞里的猫头鹰，其翅膀部分与树木存在语义关联，而其他部位则不同。因此，语义特征相关性是检测难以区分物体的关键因素。

目前的基于CNN的模型主要依靠卷积操作来提取局部特征。但在包含难以区分物体的航空图像中，物体与背景的局部特征极为相似。CNN的卷积核在卷积过程中是固定的，难以灵活捕捉物体与背景之间复杂的空间相关性及语义差异，因此常常会将物体误判为背景的一部分，从而导致较高的假阴性率。而基于Transformer的模型则侧重于通过自注意力机制捕捉全局依赖关系。在含有难以区分物体的航空图像中，背景区域往往较为广阔，自注意力机制可能会被大量的背景信息干扰。此外，自注意力机制的计算成本较高，在处理难以区分物体检测所需的语义特征相关性时，可能无法有效聚焦于物体的关键信息，进而导致性能不佳。

需要说明的是，本文所研究的难以区分的物体指的是那些与背景区分度低或对比度低的物体。为了解决航空图像中这类物体易被漏检的严重问题，本文利用空间相关性以及可见光图像与红外图像的互补优势，实现了对航空图像中难以区分物体的高精度检测，并提出了一种新型的结合语义特征相关性的跨模态融合物体检测网络CFLGNet。与传统单一模态的特征提取方法不同，CFLGNet充分利用了可见光图像与红外图像的互补优势，增强了初始特征表示能力。其核心创新在于语义注意力Mamba融合模块SAMFB，该模块通过结合局部与全局的语义特征相关性，有效实现了物体与背景的区分。这种方法不仅能捕捉精细的局部细节，还能建模全局上下文，从而提供更为强大且具有区分度的特征表示。具体而言，为了解决难以提取物体与背景之间差异特征的问题，首先我们提出了一个多模态信息融合框架，用以增强模型对可见光图像中物体的初始特征表示；其次，设计了LSCM模块，通过相关性运算计算局部像素之间的相关性矩阵，从而获得局部语义特征相关的特征表示，使网络能够更好地描述局部语义信息。此外，为了增强被遮挡物体的局部特征，提高未被遮挡区域的可识别性，还设计了LFETI模块。最后，为进一步捕捉全局语义特征相关性，我们还提出了GSCM模块，该模块通过引入视觉Mamba来捕捉空间中的非规则相关性，并利用LSCM模块的输出特征作为权重，激活空间上相邻但特征表现不同的区域。

本研究的主要贡献可总结如下：

(1) 为了解决在RGB图像和红外图像中同时难以提取物体与背景之间差异特征的问题，提出了结合语义特征相关性的跨模态融合物体检测网络CFLGNet。该方法利用局部与全局的语义特征相关性寻找物体与背景之间的差异线索，最终成功增强了具有区分度的特征。在VEDAI数据集和DroneVehicle数据集上的mAP值分别达到了79.6%和85.4%，且模型的参数量仅为4.46百万。

(2) 设计了LSCM模块和GSCM模块，分别用于感知局部语义特征相关性及其全局语义特征相关性。这两个模块建立了空间特征之间相互作用的隐藏状态空间，有助于挖掘重要的潜在关联，从而解决了现有方法难以抑制空间上相邻但语义信息不同的特征的问题。此外，还设计了LFETI模块，用于增强物体未被遮挡区域的局部特征，从而减少因物体信息不完整（如被遮挡或截断）导致的漏检问题。综合定量与定性实验均证明了该方法的有效性。

章节摘要

难以区分的物体检测

难以区分的物体检测指的是由于物体与背景之间存在固有相似性，从而导致难以识别目标的物体检测任务。目前，这类检测方法主要针对自然植物和动物的大规模伪装物体，很少涉及航空图像。作为一个重要里程碑，自从Fan等人（2020年）首次发布了大规模的伪装物体检测数据集之后，近年来出现了许多相关方法。

概述

为展示所设计的SAMFB模块的有效性，我们对用于跨模态物体检测的YOLOv8-n框架进行了扩展，将其重新设计为双流结构的CFLGNet网络，如图2所示。在此基础上，设计了包含语义注意力关键组件的SAMFB模块，用于实现可见光图像与红外图像之间的特征交互以及语义差异信息的提取，具体包括局部语义特征相关性的提取以及相关关联的挖掘等工作。

数据集

我们的实验是在Liu等人（2025年）提供的DroneVehicle数据集以及Razakarivony和Jurie（2016年）的VEDAI数据集上进行的。

DroneVehicle数据集是由天津大学最新发布的一个大规模RGB-IR航空物体检测数据集，其中的不同模态图像是成对出现的。该数据集包含28,439对可见光与红外图像，以及953,087个手动标注的汽车、公交车、卡车、厢式货车和货运汽车的边界框。所有收集到的图像都被分为三组：

结论与未来工作

本文提出了一种结合局部与全局语义特征相关性的跨模态融合物体检测网络CFLGNet。即便物体在RGB图像和红外图像中都难以区分，甚至被严重遮挡，该网络也能帮助无人机高成功率地检测出这类物体。我们的方法在检测精度与参数量之间取得了良好的平衡，其核心组件为集成有相关功能的SAMFB模块。

未引用参考文献

赵等人（2020年）、Heusel等人（2017年）、李等人（2022年）、张等人（2022b年）、王等人（2024b年）、孙等人（2024b年）、孙等人（2022年）、青云和照奎（2022b年）、常等人（2020年）、韩等人（2024年）、Hamzenejadi和Mohseni（2023年）、张等人（2018年）。

CRediT作者贡献说明

刘毛振：写作——审稿与编辑、写作——初稿撰写、可视化、方法设计、概念构建。狄晓光：写作——审稿与编辑、监督指导、项目管理、方法设计、资金筹集。李希明：形式化分析。王志豪：形式化分析。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

致谢

本研究部分得到了中国航空科学基金会[资助编号：2022Z071077002]以及中央高校基本科研业务费[资助编号：HIT.NSRIF202243]的支持。

刘毛振|狄晓光|李希明|王志豪