ETFNet:一种基于高效Transformer的RGB–IR融合网络,用于无人机目标检测

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:ETFNet: An Efficient Transformer-Based RGB–IR Fusion Network for UAV Object Detection

【字体: 大 中 小 】 时间:2026年07月30日 来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 17.4

编辑推荐:

  •我们提出了ETFNet,这是一种高效的RGB–IR融合网络,用于无人机目标检测,它能在轻量级架构中同时解决跨模态差异和目标尺度变化大的问题。•我们引入了Transformer-Guided Fusion(TGF)模块,该模块通过空间降维的注意力机制和门控特征调节实现选择性RGB

  
  • •
    我们提出了ETFNet,这是一种高效的RGB–IR融合网络,用于无人机目标检测,它能在轻量级架构中同时解决跨模态差异和目标尺度变化大的问题。
  • •
    我们引入了Transformer-Guided Fusion(TGF)模块,该模块通过空间降维的注意力机制和门控特征调节实现选择性RGB–IR交互,从而在较低计算开销下实现有效的多模态融合。
  • •
    我们设计了上下文感知特征增强模块(CAFEM),该模块能够整合多感受域的上下文信息,提升不同尺度目标的特征表示能力。
  • •
    在三个公开的无人机RGB–IR测试集上的大量实验表明,ETFNet在保持良好精度-效率平衡的同时实现了最先进的检测性能,模型参数仅82.8个。

引言

无人机目标检测在航空感知中起着核心作用,是众多民用和军事应用的关键支撑技术,这些应用包括灾难救援、监控、交通监测、环境检测以及侦察[1]、[2]。在这些场景中,目标检测能够让无人机系统在复杂的大范围场景中准确识别、定位并跟踪目标,尤其是在人类难以进入或存在安全风险的环境中。与在相对稳定视角和感知条件下运行的地面视觉系统相比,无人机目标检测需要应对因飞行高度、观测角度和环境变化而带来的高度动态的成像条件,同时还要满足机载平台的计算限制[1]、[3]。因此,实用的无人机目标检测系统需要具备在复杂光照条件下仍能保持可靠性能、对目标尺寸变化具有强鲁棒性,且能在资源受限的无人机平台上高效运行的能力。
在这些挑战中,复杂的照明条件使得仅依靠单一感知模态进行可靠的目标检测尤为困难。RGB图像虽然能提供丰富的纹理和结构信息,但在恶劣或快速变化的照明条件下性能会下降,而红外图像则能提供对光照变化更具鲁棒性的热特征,但缺乏精细的外观细节[4]、[5]、[6]。通过利用这两种模态的互补优势,RGB–IR融合已成为在复杂成像条件下提升无人机目标检测性能的有效方法[7]、[8]、[9]。然而,要充分利用RGB和红外信息的互补性仍然面临挑战,因为这两种模态是通过截然不同的成像机制获取的,这就导致了固有的跨模态差异,使得特征交互变得复杂。如图1(a1–a2)所示,这种差异表现为特征响应不一致、模态依赖性噪声以及特征可靠性随空间变化,这阻碍了互补信息的充分利用,当某一模态在融合结果中占据主导时,就会降低检测性能[7]、[10]、[11]。因此,实现有效且均衡的跨模态交互仍是实际RGB–IR无人机目标检测面临的核心挑战。
近年来,越来越多的RGB–IR目标检测器开始采用基于Transformer的融合框架,因为这类框架能够很好地建模不同模态特征之间的长距离依赖关系[8]、[13]、[14]。尽管这类方法的融合能力有所提升,但仍存在两个重要局限。首先,现有的基于Transformer的融合网络往往采用依赖大量注意力计算或对齐操作的架构,这会导致较高的计算开销,限制了其在资源受限的无人机平台上的应用[14]、[15]、[16]。其次,现有方法通常以全局或隐式的方式处理跨模态交互,无法明确控制每种模态的可靠性和贡献度,因此当某种模态变得不可靠时,融合结果容易受到模态不平衡的影响[7]、[8]、[11]。因此,开发一种高效的RGB–IR融合框架,既能实现有效的跨模态交互、均衡的模态贡献,又能保持较低的计算复杂度,仍是实际无人机目标检测领域的重要研究课题。
除了跨模态差异之外,目标尺寸的变化也是无人机目标检测面临的另一个核心挑战。由于飞行高度、成像距离和观测几何条件的变化,同一类别的目标在航空场景内部和不同场景之间可能会出现极大的空间尺度差异,如图1(b)所示。如此大的尺度变化使得在保持丰富语义表征的同时,难以保留具有区分度的局部特征[1]、[3]。尽管针对传统无人机目标检测,已有大量关于尺度感知特征学习的研究[17],但现有的RGB–IR融合方法大多侧重于提升跨模态交互能力,而非直接增强尺度感知特征表示。因此,设计一种高效的RGB–IR检测框架,同时解决跨模态差异、目标尺寸变化问题以及提升计算效率,仍是实际无人机目标检测领域的重要研究方向。
基于上述问题,我们提出了ETFNet,这是一种高效的、基于Transformer引导的RGB–IR融合网络,用于无人机目标检测。ETFNet旨在在一个统一的轻量级框架内,同时解决上述三个核心挑战,即跨模态差异、目标尺寸变化以及计算效率问题。它并非孤立地处理这些问题,而是通过两种互补的设计来实现高效的跨模态融合和尺度感知特征增强。具体而言,所提出的Transformer-Guided Fusion(TGF)模块能够在紧凑的锚点级令牌空间中实现高效且均衡的RGB–IR交互,从而在降低基于Transformer的融合计算成本的同时,提升跨模态信息交流的效果。而上下文感知特征增强模块(CAFEM)则通过轻量的上下文编码方式,进一步强化在大目标尺度变化下的空间特征表示能力。通过将这两种互补设计集成到基于YOLO的紧凑型检测器中,ETFNet实现了融合质量、尺度鲁棒性和计算效率之间的良好平衡,非常适合在资源受限的无人机平台上使用。
本研究的主要贡献如下:
  • •
    一种高效的Transformer引导型RGB–IR融合模块:我们提出了Transformer-Guided Fusion(TGF)模块,该模块通过在紧凑的锚点级令牌空间中进行选择性交互,有效缓解跨模态差异问题。这种设计能够在保持较低计算开销的同时,实现高效且均衡的跨模态融合。
  • •
    一种上下文感知特征增强模块:我们设计了一种轻量的上下文感知特征增强模块(CAFEM),该模块通过轻量的上下文编码方式,提升在大目标尺寸变化场景下的空间特征表示能力。
  • •
    一种高效的统一RGB–IR目标检测框架:我们开发了ETFNet,这是一种高效的RGB–IR目标检测框架,能够同时解决跨模态差异、目标尺寸变化以及计算效率问题。在多个公开的无人机RGB–IR测试集上的实验表明,ETFNet在检测精度、计算效率以及模型紧凑性之间取得了良好的平衡。

章节摘要

无人机影像中的目标检测

无人机影像中的目标检测面临着与地面视觉任务不同的挑战。无人机通常从不同的高度和视角拍摄大范围场景,导致目标在画面中的空间范围差异极大。此外,无人机系统往往具备有限的机载计算资源,这就要求目标检测器在精度和效率之间取得良好平衡[1]、[17]。这些特点使得直接应用通用的目标检测方法存在一定难度

整体架构

如图2所示,所提出的网络基于YOLOv11检测框架[41]构建,并采用了专为RGB–IR无人机目标检测设计的多阶段双流架构。该整体架构由两个核心组件构成,分别是上下文感知特征增强模块(CAFEM)和Transformer引导型融合模块(TGF)。CAFEM能够增强空间特征表示,提升无人机在不同目标尺度下的检测鲁棒性

数据集

为了全面评估ETFNet的性能,我们在三个具有不同目标类别、目标尺度分布和场景特征的无人机RGB–IR测试集上进行了实验。DroneVehicle[4]被用作最先进的对比方法和消融实验的主要测试集,因为它为在多种光照、高度和视角条件下的多模态车辆检测提供了典型的应用场景。VTUAV-det和RGBTDronePerson[12]则用于进一步评估ETFNet在其他场景下的性能

结果与讨论

根据上述数据集设置,我们在DroneVehicle测试集上进行了详细的先进方法对比,并进一步评估了ETFNet在VTUAV-det和RGBTDronePerson测试集上的泛化能力。其他竞争方法的测试结果均来自其原始论文或官方报告。所有对比都遵循相应测试集的官方数据划分方式、评估规则和指标定义。

局限性

首先,尽管ETFNet的整体性能表现优异,但在区分视觉特征和热特征相似的车辆类别时仍存在一定局限性。从DroneVehicle数据集的类别级测试结果来看,ETFNet在整体检测性能上表现最佳,在大多数车辆类别中均排名第一。不过,它在厢式货车的检测性能略低于目前报道的最佳结果,这说明在区分厢式货车与其他类似类型的车辆方面还存在一定难度

结论

本文提出了ETFNet,这是一种高效的RGB–IR融合框架,用于无人机目标检测,它结合了基于Transformer的多模态交互机制和轻量级的上下文感知特征增强功能。该框架将Transformer引导型融合模块(TGF)和上下文感知特征增强模块(CAFEM)集成到统一的架构中,从而在保持轻量级设计的同时,实现有效的多模态特征交互和更强的空间特征表示能力。
通过大量的实验验证

CRediT作者贡献说明

Thi Lan Nguyen:撰写——初稿、可视化、验证、软件实现、方法设计、概念构思。Cao Truong Tran:撰写——审阅与编辑、验证、监督、方法设计、研究分析。Dinh Tan Nguyen:撰写——审阅与编辑、验证、形式化分析。

利益冲突声明

作者声明,他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
Thi Lan Nguyen|Cao Truong Tran|Dinh Tan Nguyen
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号