《PLOS One》:TCLNet: A Thermal Contrast-Aware Lightweight Network for infrared object detection
编辑推荐:
红外目标检测在低光照和复杂环境感知中扮演着重要角色。然而,红外图像通常表现出低信噪比、弱目标-背景对比度以及有限的纹理信息,这会导致在小目标和杂乱背景场景下的检测性能下降,同时难以平衡检测精度与模型复杂度。为解决这些挑战,本文提出TCLNet,一种面向红外目标
红外目标检测在低光照和复杂环境感知中扮演着重要角色。然而,红外图像通常表现出低信噪比、弱目标-背景对比度以及有限的纹理信息,这会导致在小目标和杂乱背景场景下的检测性能下降,同时难以平衡检测精度与模型复杂度。为解决这些挑战,本文提出TCLNet,一种面向红外目标检测的热对比感知轻量级网络。TCLNet引入热对比编码器(Thermal Contrast Encoder, TCE)以增强局部对比敏感的目标表征,并提出热引导交叉特征注意力(Thermal-Guided Cross-Feature Attention, TGCA)机制以促进对比增强特征与语义特征之间的交互,从而提升目标判别能力并抑制背景干扰。研究人员分别在M3FD、FLIR ADAS v2(记为FLIR_2)和NUDT-SIRST1数据集上独立进行了实验。TCLNet在这些数据集上分别取得了60.5%、45.4%和91.4%的mAP50值,相较于YOLO12n基线分别提升了12.8、11.3和7.5个百分点。同时,该模型保持了约2M参数的紧凑规模。这些结果表明,TCLNet改善了红外目标检测,特别是在低信噪比和小目标条件下,并在检测精度与模型复杂度之间实现了良好的平衡。
论文解读文章
研究背景与问题
红外目标检测在夜间监控、自动驾驶、工业检测和智能交通等领域具有重要意义。与可见光相机不同,红外传感器记录受场景辐射、物体属性和传感器响应影响的强度模式,因此在低照度和某些恶劣环境条件下能够提供互补的视觉信息。
然而,红外图像为目标检测带来了若干挑战。首先,由于低信噪比(Signal-to-Noise Ratio, SNR)或低信号杂波比(Signal-to-Clutter Ratio, SCR),目标相对于复杂背景往往呈现弱对比度。其次,有限的空间分辨率、传感器噪声和平滑的强度过渡会导致目标边界不清晰。第三,缺乏色彩信息和详细的纹理限制了常规特征表示的判别能力。这些限制对于可能仅占据少数像素且在特征下采样过程中逐渐减弱的小目标尤为严重。
尽管深度学习技术近年来显著提升了通用目标检测的性能,现有方法包括两阶段卷积检测器(如R-CNN系列)、单阶段检测器(如YOLO系列)以及基于Transformer的检测器(如DETR及其变体),但这些架构并非专门针对红外图像中常见的弱对比度和有限纹理而设计,直接应用于红外数据可能会产生次优的特征表示,尤其对小目标和杂乱背景场景。
此外,实际应用中的红外目标检测系统通常部署在嵌入式设备或边缘计算平台上,因此模型的计算复杂度和实时性同样至关重要。现有的红外目标检测方法在特征表达能力或计算效率方面仍存在一定局限性。如何在保持模型轻量化的同时,充分利用红外图像中的热物理特征并提高复杂场景下的检测性能,仍是当前重要的研究方向。
研究内容与结论
为应对上述挑战,研究人员提出了TCLNet,一种基于轻量级YOLO12n框架的热对比感知轻量级网络。TCLNet的主要创新在于引入对比敏感的特征增强和交叉特征注意力机制。该网络通过学习红外特征中相对的目标-背景响应,而非估计物理热学量,并利用这些响应指导对比增强表征与语义表征之间的交互,旨在提升目标判别能力的同时保持紧凑的参数规模。
在三个红外数据集上的实验表明,TCLNet取得了显著的性能提升。在M3FD数据集上,TCLNet的mAP50达到60.5%,比轻量级基线模型YOLO11n和YOLO12n高出12.8个百分点。在FLIR_2数据集上,mAP50达到45.4%,比YOLOv10n和YOLO11n分别高出10.8%和4.6%。在用于评估弱小目标检测能力的NUDT-SIRST1数据集上,TCLNet取得了最高的mAP50值91.4%,超过最强基线YOLO12n达7.5个百分点。同时,模型参数保持在约2M的紧凑规模,推理速度可达156.25 FPS以上,满足实时检测需求。
这项研究的重要意义在于,通过显式建模红外图像中的热对比信息并结合轻量级注意力机制,有效提高了红外目标的检测精度和效率,在检测精度与模型复杂度之间实现了良好的平衡,为红外目标检测系统的实际部署提供了可行方案。
关键技术方法
研究人员提出了三个核心模块:
第一,热对比编码器(Thermal Contrast Encoder, TCE):一个受热学启发的特征增强模块,通过学习到的响应投影、局部背景响应估计、归一化相对对比度计算以及Sobel梯度提取,生成对比敏感的调制图,用于增强红外特征。
第二,热引导交叉特征注意力(Thermal-Guided Cross-Feature Attention, TGCA):一种局部交叉注意力机制,由对比增强特征生成Query,原始语义特征生成Key和Value,采用局部窗口策略降低全局注意力的计算成本并限制与空间远距离背景区域的交互。
第三,热注意力融合C2f模块(Thermal-Attentive Fusion C2f, TAF-C2f):将TCE和TGCA集成到轻量级的C2f风格特征提取块中,联合优化对比敏感增强、局部交叉注意力和语义特征提取,在紧凑的参数预算内实现高效特征提取。
研究结果
5.1 M3FD和FLIR_2数据集上的结果
在M3FD数据集上,TCLNet的mAP50达到60.5%,比轻量级基线模型YOLO11n和YOLO12n高出12.8个百分点。与YOLO13n相比,在参数减少约18.0%的情况下,mAP50仍提升13.5%。在FLIR_2数据集上,TCLNet的mAP50达到45.4%,比YOLOv10n和YOLO11n分别高出10.8%和4.6%。TCLNet的参数数量约为2M,仅为YOLO11s的约21.3%,但仍具有竞争力的检测精度。推理速度在M3FD和FLIR_2数据集上分别达到156.25 FPS和211.76 FPS,满足实时检测要求。与YOLOv9t和YOLO-MIF等先进轻量级模型相比,TCLNet在M3FD上分别提升11.1%和12.0%。
5.2 NUDT-SIRST1数据集上的结果
在NUDT-SIRST1数据集上,TCLNet取得最高mAP50值91.4%,超过最强基线YOLO12n达7.5个百分点。精度达到0.835,与YOLO12n并列最高。召回率达到0.798,比YOLO12n高0.072。TCLNet参数约2.00M,比YOLO12n减少21.6%,比YOLO-MIF减少33.3%。推理速度为72.64 FPS,低于其他评估模型,表明特征增强和注意力操作引入了额外计算延迟,但TCLNet在保持紧凑参数数量的同时提供了最高的mAP50。
5.3 消融分析
在M3FD数据集上的消融实验显示,单独引入TCE后,精度从0.724提升至0.804,mAP50从51.0%提升至53.5%,提升2.5个百分点。单独引入TGCA后,精度提升至0.794,mAP50提升至52.2%。当TCE和TGCA共同引入时,模型取得最佳综合检测性能,精度达0.810,召回率达0.532,mAP50达60.5%,比基线提升9.5个百分点。完整模型参数约2.007M,仅比基线的1.743M增加0.257M,推理速度为156.25 FPS。结果表明TCE主要增强热对比敏感表征,TGCA改善特征交互和语义引导,二者联合产生明显的互补效应。
5.4 可视化与逐类分析
在M3FD数据集上,TCLNet对包含行人、车辆和多物体的城市场景提供相对完整的检测,对低对比度和较小目标维持稳定响应。Car和Bus的AP50分别达到79.23%和77.52%,Motorcycle和Lamp较困难,AP50分别为28.67%和40.44%。在FLIR_2数据集上,TCLNet在多类别和杂乱背景场景中保持有效,Bus、Car和Person的AP50分别达到69.36%、68.92%和61.35%。在NUDT-SIRST1数据集上,TCLNet对微弱和极小红外目标表现出相对稳定的检测能力,AP50达91.4%,但AP75降至49.15%,表明精确边界框定位对极小目标仍然困难。
5.5 挑战性条件下的失败案例分析
定量结果表明,小目标检测在M3FD和FLIR_2上仍是主要挑战,小目标子集呈现较低的mAP值和较高的漏检率。代表性失败案例包括:遥远且极小的目标因空间细节在下采样中被削弱而可能被漏检或定位不准;低对比度目标因目标-背景强度差异不足而产生低置信度预测;杂乱背景可能产生类目标响应导致误检或冗余框。剩余错误主要与空间细节损失和对比度不足相关。
结论
本文提出TCLNet,一种面向红外目标检测的热对比感知轻量级网络。TCLNet基于轻量级YOLO框架构建,引入热对比编码器(TCE)增强对比敏感特征,并通过热引导交叉特征注意力(TGCA)促进对比增强特征与语义特征之间的交互。这两个模块被集成到热注意力融合C2f(TAF-C2f)模块中,形成统一的轻量级特征提取框架。在M3FD、FLIR_2和NUDT-SIRST1三个数据集上的实验表明,TCLNet在保持约2M参数的同时,在mAP50指标上分别达到60.5%、45.4%和91.4%,显著优于多个主流YOLO系列轻量级检测模型。消融实验验证了TCE和TGCA各自的有效性及其联合使用的互补增强效果。可视化和逐类分析进一步展示了TCLNet在不同红外场景下的检测行为。未来工作可探索更高效的注意力机制、多模态融合策略以及针对极端小目标的专用定位优化方法。