基于可见光与红外图像特征融合的小目标检测

《Sensors》：Small-Target Detection via Fusion of Visible and Infrared Image Features

　　

可见光-红外小目标检测面临单模态表示能力弱、模态差异大以及密集跨模态注意力带来的二次方计算成本等挑战。研究人员提出了TFFB，一种特征级融合检测器，它结合了空间特征压缩（SFC）、跨注意力模态增强（CME）和迭代跨模态增强（ICME），以平衡信息交换与计算效率。为进一步改善定位性能，研究人员引入了Focaler-SIoU用于小框回归。在Anti-UAV300数据集上，TFFB将中程融合基线从76.2%/43.7%提升至81.5%/48.6%（mAP@0.5/mAP@0.5:0.95），而TFFB结合Focaler-SIoU则分别达到83.6%和50.2%。结果表明，紧凑的跨模态交互可以在保持适中计算成本的同时增强可见光-红外无人机检测性能。

**论文解读：基于可见光与红外特征融合的小目标检测方法研究**

**1. 研究背景与问题**

低空小型无人机目标检测是计算机视觉中的一项基础且具有挑战性的任务。由于目标在图像中通常仅占据少量像素，纹理微弱、边缘模糊，且易与云层、建筑、植被和低照度夜间场景等背景混淆，深层检测网络中的多次下采样会进一步衰减弱目标响应，导致漏检、误检和定位误差增加。可见光图像富含纹理、颜色、边缘和轮廓信息，但对光照退化、遮挡和背光敏感；红外图像强调热辐射，在夜间或低照度下更稳定，但通常缺乏空间细节，且可能存在热扩散现象。因此，如何有效融合两种模态的信息，同时控制跨模态交互的计算成本，成为可见光-红外小目标检测的关键问题。现有融合策略包括输入级、特征级和决策级融合，其中特征级融合能够在语义特征渐进构建过程中实现跨模态信息交换，更适合小目标检测。然而，基于Transformer的特征融合方法在高分辨率特征图上进行密集注意力计算时成本高昂，且现有方法难以清晰区分跨模态交互有效性与计算效率。为此，研究人员提出了基于双交叉Transformer融合块（TFFB）的可见光-红外特征级融合检测器，并引入Focaler-SIoU损失以改善小目标边界框回归。

**2. 研究内容与结论**

研究人员在统一YOLOv11-RGBT框架内，将所提出的TFFB模块嵌入多尺度特征层（P3、P4、P5），在固定数据集、骨干网络、检测头和训练协议下进行受控对比实验。结果表明，TFFB在中程融合基线上的mAP@0.5从76.2%提升至81.5%，mAP@0.5:0.95从43.7%提升至48.6%，同时计算成本为20.5G FLOPs；结合Focaler-SIoU后，最终检测器达到83.6%和50.2%的指标。研究证实，紧凑的跨模态交互能够在控制计算开销的同时显著增强可见光-红外小目标检测性能。论文发表在《Sensors》期刊。

**3. 主要关键技术方法**

本研究采用的主要技术方法包括：特征级融合策略，避免输入级噪声放大和决策级交互不足；空间特征压缩（SFC）模块，通过可学习的平均池化与最大池化混合加权降低空间token数量，减少注意力计算负担；跨注意力模态增强（CME）模块，以压缩后的可见光token序列为查询、红外token序列为键和值，实现双向跨模态信息补充；迭代跨模态增强（ICME）机制，通过共享CME参数进行多轮迭代细化，在不增加参数量的情况下加深交互深度；以及Focaler-SIoU损失函数，结合SIoU的几何约束和Focaler机制的中低IoU样本聚焦能力，改善小目标定位。实验使用Anti-UAV300数据集，按每20帧采样得到配对图像，采用COCO预训练的YOLO11双分支骨干，SGD优化器训练100轮，输入分辨率640×640，批量大小16。

**4. 实验结果分析**

4.1 融合阶段受控对比
通过固定骨干、检测头、增强和训练协议，仅改变融合位置，比较早期融合、中期融合和晚期融合策略。结果表明，中程融合结合TFFB后，mAP@0.5比普通中程融合提升5.3个百分点，验证了在特征层面引入跨模态注意力能够增强慢速小目标的语义表示和背景抑制能力。

4.2 融合模块受控对比
在中程融合策略下，将TFFB与CFT、CAS、MCF和EFM等主流融合模块集成到同一YOLOv11-RGBT框架中比较。TFFB取得最高检测精度且计算成本适中：相比CFT，FLOPs从28.3G降至20.5G，mAP@0.5:0.95提升1.5个百分点，说明空间压缩和参数共享迭代机制可在保持强跨模态建模能力的同时减少冗余计算。

4.3 跨论文对比
汇总近期Anti-UAV300检测器的已发表结果，因架构、训练协议、输入分辨率和运行环境可能不同，该对比仅用于说明基准水平，不能视为受控消融。跨论文对比显示，所提完整检测器并非Anti-UAV300当前最先进方法，本文主要贡献在于固定框架内的模块级改进。

4.4 损失函数改进效果
在采用Focaler-SIoU后，不同融合策略均获得稳定提升，与TFFB结合时效果最显著，mAP@0.5达到83.6%，mAP@0.5:0.95达到50.2%，表明该损失能将融合特征中的目标响应优势转化为更准确的边界框定位。

4.5 消融实验
以中程融合为基线，依次加入SFC、CME和完整TFFB。结果显示，SFC略微降低FLOPs并提升精度；CME带来主要性能增益，证明双向交叉注意力是建模跨模态互补信息的关键；ICME在仅增加少量计算的情况下进一步提升mAP，说明参数共享迭代增强可细化目标区域特征。

**5. 讨论与结论**

讨论部分指出，TFFB的优势源于三点：特征级融合避免直接放大原始传感器噪声且克服决策级交互不足；SFC在注意力前减少token数量，使CME能以较低开销建立可见光纹理与红外热响应间的双向对应；ICME通过共享参数重复跨模态增强，在不增加独立Transformer参数集的情况下提升交互深度。研究仅在Anti-UAV300单一基准上验证，结论的泛化性有限，未来工作需覆盖注册感知融合、时间建模、跨数据集评估以及部署导向的性能测量。研究结论翻译如下：本文提出了一种基于TFFB和Focaler-SIoU的可见光-红外小目标检测方法。TFFB结合SFC、CME和ICME，集成了空间token压缩、双向跨模态注意力和参数共享迭代细化。在YOLOv11-RGBT实验中，TFFB单独将中程融合基线从76.2%/43.7%提升至81.5%/48.6%（mAP@0.5/mAP@0.5:0.95）；加入Focaler-SIoU后，最终检测器分别达到83.6%和50.2%。这些结果支持了所提融合模块和回归损失在Anti-UAV300评估设置下的有效性。更广泛的泛化性和实际运行效率将在更多RGB-T基准和统一部署导向测量协议下进行验证。