DTF-YOLO:面向红外-可见光小目标检测的热-纹理解耦与重校准检测器

《Sensors》:DTF-YOLO: A Thermal-Texture Decoupling and Recalibration Detector for Infrared-Visible Small Object Detection

【字体: 大 中 小 】 时间:2026年10月27日 来源:Sensors 4.0

编辑推荐:

  全天候、高精度感知机场空侧目标(如远处人员、地面车辆和小型危险物)对于安全管控至关重要。可见光监控在低照度、粉尘和雾天条件下性能显著退化,而红外传感能够捕获发热目标但缺乏场景纹理;因此,红外-可见光融合已成为实现鲁棒检测的主流路线。然而,在融合图像中,热显著性

  
全天候、高精度感知机场空侧目标(如远处人员、地面车辆和小型危险物)对于安全管控至关重要。可见光监控在低照度、粉尘和雾天条件下性能显著退化,而红外传感能够捕获发热目标但缺乏场景纹理;因此,红外-可见光融合已成为实现鲁棒检测的主流路线。然而,在融合图像中,热显著性与可见纹理仍深度纠缠,模态干扰随场景和特征层级而变化,步幅下采样则造成小目标信息的不可逆损失。本文提出DTF-YOLO,一种基于重构YOLOv11骨干网络的热-纹理解耦与重校准检测器。热-纹理解耦重校准(Thermal-Texture Decoupling Recalibration,TTDR)模块采用并行的热辐射感知路径和纹理细节感知路径,在通道与空间层面重校准融合特征;完全信息保持的双向Focus(Bi-directional Focus)模块以空间-通道切片重排取代常规下采样;四尺度P2–P5融合颈部提升了对微小目标的敏感性。以公开的M3FD和LLVIP数据集作为替代基准进行评估,DTF-YOLO在M3FD上取得87.32%的mAP@0.5和80.33%的召回率,参数量为2.91M,在LLVIP上取得95.26%的mAP@0.5,展现出良好的精度-效率权衡以及用于机场空侧安全监测的潜力。
**研究背景与现存问题**

机场空侧安全管控需要对远处人员、地面车辆、飞机及外来物碎片(foreign object debris,FOD)实现全天候、高精度感知。可见光监控在低照度、粉尘和雾天条件下性能严重下降,红外传感虽能捕获发热目标但缺乏场景纹理,因此红外-可见光融合成为鲁棒检测的主流路线。然而融合图像的特征提取面临三个相互耦合的难题:热显著性与可见纹理深度纠缠,常规卷积缺乏分离二者的选择性;模态干扰随场景和特征层级变化,简单拼接或相加会放大弱模态噪声,需要逐层动态重校准;步幅卷积或池化下采样有损,不可逆丢失小目标信息。现有方法中,CrossFuse主要在融合阶段处理模态关系,DEYOLO等未专门针对远距离低像素目标的尺度变化,SPD-Conv提供了信息保持下采样思路。这些不足共同解释了通用YOLO基线在融合图像上性能不佳的原因,也构成研究的出发点。

**研究内容与总体结论**

研究人员以重构的YOLOv11为骨干,提出热-纹理解耦与重校准检测器DTF-YOLO,在同一框架内解决特征纠缠、模态干扰和信息丢失三个问题。核心贡献包括:热-纹理解耦重校准(Thermal-Texture Decoupling Recalibration,TTDR)模块以并行热辐射感知与纹理细节感知路径在通道和空间层面动态重校准特征;完全信息保持的双向Focus(Bi-directional Focus)模块以空间-通道切片取代有损下采样;P2–P5四尺度融合颈部增强对微小目标的敏感性。在M3FD和LLVIP数据集上,DTF-YOLO分别取得87.32%的mAP@0.5、80.33%召回率(2.91M参数)和95.26%的mAP@0.5,全面超越YOLOv11基线与YOLOFuse,展现良好精度-效率权衡和机场空侧安全监测应用潜力。

**关键技术方法**

研究人员以M3FD(4200对红外-可见光图像,覆盖白天、夜间和烟幕条件,标注六类目标)和LLVIP(15000余对图像,标注person类)为替代基准,分别按8:1:1和6:2:2随机划分,以MS-DAFNet融合网络生成三通道融合输入。Bi-directional Focus沿横纵方向将图像切片为四个子图并沿通道拼接,经1×1卷积非线性融合;TTDR的通道路径用全局平均池化加两个1×1卷积提取低频热辐射统计量,空间路径用7×7深度可分离卷积提取高频纹理连续性,分别加权后逐元素相加并经1×1投影卷积整合;颈部增设P2(1/4下采样)高分辨率分支构成四尺度特征金字塔。训练采用随机梯度下降(初始学习率0.01、动量0.937)、余弦退火调度150轮、批次16、输入分辨率640×640,以42、123、2026三个随机种子重复实验并报告均值±标准差,权重衰减提高至0.001,引入0.1标签平滑。

**研究结果**

*M3FD数据集上的结果*:与Faster-RCNN、YOLOv8、YOLOFuse和YOLOv11基线对比,DTF-YOLO的mAP@0.5分别领先36.21、6.62、4.87和5.31个百分点,精度达89.54%;参数量2.91M,远低于Faster-RCNN的64.39M和YOLOFuse,计算量6.3GFLOPs、帧率117FPS。mAP@0.5:0.95由56.61%升至57.78%,召回率由73.82%升至80.33%,表明TTDR捕获了大量因特征遮蔽而被基线漏检的弱对比目标。逐类AP中,Lamp类由Faster-RCNN的9.94%大幅升至48.62%,相对YOLOv11提升6.59个百分点;People和Motorcycle相对YOLOv11分别提升2.08和5.39个百分点;Bus类略有波动。DEYOLO和YOLO-Adaptor因官方实现不可得未纳入定量对比,仅在讨论中进行结构比较。

*LLVIP数据集上的结果*:mAP@0.5由基线94.84%提升至95.26%,增幅小于M3FD,原因是基线已近饱和、M3FD为六类复杂任务且小目标更多。可视化结果显示DTF-YOLO能以更高置信度检出全部行人。计算效率与M3FD一致(6.3GFLOPs、117FPS)。

*消融研究*:仅添加Focus使mAP@0.5由82.01%升至83.45%,召回率提升1.38个百分点。TTDR单独插入P3或P4分别达84.28%和84.65%,P4略优;P3+P4同时插入达85.92%和78.95%召回率,再加P5仅85.88%几乎不变,说明P3+P4配置已充分。Focus+TTDR组合为86.45%,TTDR+4-Scale为86.52%,而无TTDR的Focus+4-Scale仅85.10%,说明仅扩展尺度范围而缺乏模态解耦并不充分。完整模型达87.32%和80.33%召回率。完整模型mAP@0.5:0.95(57.78%)略低于P3+P4配置的58.15%,原因是P2分支和Focus引入的高分辨率低层特征携带更多背景噪声和边界模糊,在严格IoU阈值下少数大目标边界框拟合略松,但mAP@0.5与召回率的显著提升对安全巡检任务更为关键。

**讨论与结论**

讨论部分验证了两个设计假设:解耦热显著性与纹理细节比直接特征拼接更高效,模型参数仅从2.583M增至2.913M,且比YOLOFuse少44%参数;早期下采样信息丢失是弱热源检测的主要瓶颈,小目标密集的M3FD上增益更大,P2分支与Focus对召回率有独立贡献。结构上,TTDR在颈部对融合特征图操作,区别于DEYOLO的骨干层处理;Bi-directional Focus采用四向切片和通道重排,区别于SPD-Conv;TTDR两分支分别对应通道级低频热统计与空间级高频纹理连续性,区别于任务无关的scSE和CBAM。局限性包括缺乏大规模公开机场红外-可见光基准,机场端到端验证留待未来;受计算资源限制未对SPD-Conv、scSE、CBAM进行系统替换消融;地理空间映射路径因缺乏标定场地数据已移除。

结论方面,论文面向空侧安全监测,解决了红外-可见光融合图像中热显著性与纹理细节耦合及下采样小目标信息丢失问题,提出轻量检测算法DTF-YOLO。Bi-directional Focus通过无损空间-通道切片保持低层热源梯度;TTDR通过并行热感知与纹理感知路径动态平衡异构模态特征;P2分支将检测架构扩展为四尺度,提升对远处人员和小型危险物的敏感性。仅2.91M参数下,DTF-YOLO在M3FD上取得87.32%的mAP@0.5,在LLVIP上取得95.26%的mAP@0.5,超越YOLOv11基线和YOLOFuse,参数开销仅略高于基线且远轻于YOLOFuse,增益在三个随机种子下一致。未来将收集带地理参考标注、覆盖雨雾和热霾等环境的机场红外-可见光数据集,并开展与Focus/SPD-Conv、scSE、CBAM的系统替换消融及边缘设备部署评估。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号