RTA-FireNet：一种面向无人机影像早期森林火灾检测的轻量级RGB-thermal非对称检测器

《Geomatics, Natural Hazards and Risk》：RTA-FireNet: a lightweight RGB-thermal asymmetric detector for early forest fire detection from UAV imagery

　　

在火灾初期阶段进行检测能够在火势升级前实现及时抑制。配备可见光与热红外传感器的无人机(unmanned aerial vehicles, UAV)能够为此任务捕获互补信息，但现有多模态检测器的高计算成本限制了其在UAV平台上的实时部署。研究人员提出RTA-FireNet，一种基于YOLO11构建的用于早期森林火灾检测的轻量级RGB-thermal检测器。RTA-FireNet采用非对称架构，其中可见光分支作为主特征提取器，热红外分支在选定阶段提供辅助线索，从而避免对称双流处理带来的开销。该检测器集成了非对称跨模态骨干网络(Asymmetric Cross-Modal Backbone, ACBackbone)、双向融合颈部网络(Bidirectional Fusion Neck, BFNeck)和半耦合检测头(Semi-Coupled Detection Head, SCHead)。在RGBT-3M数据集上的实验表明，RTA-FireNet实现了66.0%的平均精度(AP)、95.2%的AP50和94.0%的F1-score，仅含2.2 M参数和9.9 GFLOPs。与本研究评估的其他RGB-thermal检测器相比，RTA-FireNet以最少的参数和最低的计算成本实现了最高的AP和F1-score，使其适用于资源受限的UAV平台上的实时早期火灾检测。

研究背景方面，森林火灾在气候变化与人类活动影响下日益频繁且剧烈，破坏植被、威胁生物多样性、释放大量二氧化碳与颗粒物加剧气候变化与空气污染，并对林区周边社区生命财产构成严重威胁。野火通常经历初发期、发展期、全盛期和衰亡期四个阶段，在初发期火势较小、释热低、烟羽微弱且尚未自持燃烧，此时检测可实现低成本及时抑制以防止升级为大规模野火，因此及时识别与定位初发火至关重要。当前森林火灾监测方法主要包括人工地面巡逻、烟雾温度红外地面传感器、卫星遥感及固定摄像头监控，均存在局限：人工覆盖有限且耗人力，传感器易受雾尘直射阳光干扰致高误报，卫星分辨率与重访周期限制对小尺度初发火不敏感，固定摄像头在大范围林区部署维护成本高。无人机(UAV)搭载可见光与热红外传感器可在低空获取高分辨率影像，结合深度学习识别初发火焰烟雾目标，适用于早期检测，但仍面临挑战：初发火焰烟雾仅占少数像素、判别结构有限易被背景噪声淹没；密林冠层降低可见性仅留部分观测；火焰烟雾因光照风速视角燃烧阶段差异具强类内多样性，烟雾半透明边界模糊难定位；烟雾易与雾霾低云混淆，受火焰照呈类火焰红调增加背景混淆与类间歧义。现有UAV林火检测研究分两方向：一是增强小目标特征提取，如引入多维窗口注意力、扩张卷积、增加小目标层与Ghost模块、改进损失函数(SIoU)、多向检测与非极大抑制、相邻层复合网络与递归特征金字塔、SLIC超像素与DBSCAN聚类结合卷积分类器；二是轻量化模型部署，如YOLOv8n蒸馏至树莓派、改进Miti-DETR设计AlexNet骨干与残差深度可分离卷积及自注意力，但均依赖单模可见光，夜间浓烟密冠层遮挡仍为主要误差源。多模态研究虽结合RGB与thermal影像利用纹理与热特征，或融合同化卫星气象数据，但或依赖重型融合架构或作用于大尺度监测，轻量级RGB-thermal检测器需求未充分满足。剩余挑战不仅是精度提升，需同时满足保留细微火焰烟雾线索、利用跨模态互补、控制机载计算成本与维持跨场景泛化。可见光与热红外对早期检测提供互补但不等证据：可见光保留颜色纹理形状边界利于充足光照下烟雾形态与火焰轮廓描述，热红外提供温度相关证据在夜间或部分冠层遮挡下对活跃火焰区更可靠，但早期烟雾热对比度弱，可见光易受光照差浓烟遮挡影响，两模态不应全程等权处理，且资源受限UAV不宜全对称双流设计，应以可见光为主通路选择性引入热线索，基于此研究人员提出RTA-FireNet。

关键技术方法方面，研究人员使用RGBT-3M数据集，该数据集来自中国安徽、云南、内蒙古多林区，由DJI M300RTK配H20T与DJI Mavic 2 Professional采集，含11220对对齐RGB-thermal影像（22440张，640×480），按7:3分为7854对训练与3366对验证，标注烟雾与火焰两类。训练采用在线数据增强同步几何变换保持对齐，包括概率1.0的Mosaic增强（四对随机排布缩放宽高平移裁剪至640×640）与HSV随机变换（色调偏移±2.7°、饱和度缩放0.3–1.7、明度缩放0.6–1.4）。基于YOLO11n基线构建RTA-FireNet，设计非对称跨模态骨干网络(ACBackbone)以可见光为主分支、热红外为半通道轻量辅分支，在C2与C3阶段通过热可靠性融合模块(Thermal Reliability Fusion Module, TRFM)交互，C3前经热扩散模块(Thermal Diffusion Module, TDM)增强；设计双向融合颈部网络(BFNeck)扩展至P2–P5四尺度，多数节点用加权融合模块(Weighted Fusion Module, WFM)，顶向下P3与底向上P4节点引入热引导融合模块(Thermal-Guided Fusion Module, TGFM)；设计半耦合检测头(Semi-Coupled Detection Head, SCHead)以共享茎提取后分回归与分类并引入共享交互项。

研究结果部分，首先4.1实验环境设置，所有实验在相同软硬件环境下进行，消融实验采用统一训练参数。其次4.2评估指标，检测性能用精确率、召回率、F1-score、平均精度(average precision, AP)、平均召回率(average recall, AR)衡量，效率用参数量(Params)与浮点运算数(GFLOPs)衡量，AP₅₀为IoU阈值0.50的AP，AP_s、AP_m、AP_l分别对应面积小于32²、32²至96²、大于96²像素实例的AP，AR同理分区。其三4.3消融实验，以YOLO11-早期融合(YOLO11-Early Fusion, YOLO11-EF)为基线，替换ACBackbone使AP、AP_s、AR_s分别提升0.7、1.4、1.3个百分点，火焰AP增1.4个百分点；加BFNeck进一步使AP、AP₅₀、AP_s、AR_s提升1.0、1.0、1.2、1.1个百分点，火焰AP增2.0个百分点；单独加SCHead使F1增0.7但AP_s、AR_s降1.1、1.3，显示其强化预测一致性而非小目标提取；三者全结合较基线AP、AP₅₀、AP_s、AR_s、F1分别提升2.3、1.3、3.0、2.6、2.5个百分点，火焰AP增4.3、烟雾AP增0.3个百分点，证实互补。其四4.4与先进方法比较，在RGBT-3M验证集对比九种单模与五种RGB-T多模检测器，RTA-FireNet达最高AP 66.0%与F1 94.0%，较最佳单模YOLO11n RGB（AP 60.0%、F1 90.8%）AP增6.0、F1增3.2个百分点；较多模DeformCAT（AP₅₀ 95.5%略高）AP领先2.8、F1领先3.1，AP_s 51.7%、AP_m 65.2%均超其余方法；仅2.2 M参数与9.9 GFLOPs为RGB-T中最少最低，在NVIDIA Jetson Orin Nano配FP16 TensorRT加速下640×640输入约25 FPS满足实时。其五4.5检测结果可视化比较，夜景中可见光基线烟雾置信0.20、热红外漏检烟雾，RTA-FireNet火焰0.88、烟雾0.75；小烟雾弱热签名处可见光检测置信不均（0.80、0.54）、热红外仅检一（0.71），RTA-FireNet达0.92与0.75；大烟羽遮火焰处可见光强烟弱火（0.94、0.72）、热红外反序（0.83、0.63），RTA-FireNet烟0.98、火0.92；冠层下多目标热红外仅火（0.71、0.81）漏烟、可见光烟仅0.38，RTA-FireNet火0.92与0.95、烟0.76；雾中密集目标单模漏检低估，RTA-FireNet维持完整检测（烟0.96、火0.93）。

讨论与结论总结，研究人员提出RTA-FireNet这一轻量级RGB-thermal检测器用于UAV影像早期林火检测，基于YOLO11框架采非对称双分支架构，集成ACBackbone跨模态提取、BFNeck多尺度融合含P2分支、SCHead提升分类定位一致性，非对称设计保持热分支轻量减双模开销同时保留火定位所需热线索。RGBT-3M实验显示RTA-FireNet达AP 66.0%、AP₅₀ 95.2%、F1 94.0%，参2.2 M、9.9 GFLOPs；消融证实三者互补，全模型较早期融合基线AP增2.3、AP_s增3.0；较九单模与五RGB-thermal多模检测器，RTA-FireNet于RGB-thermal方法中AP与F1最高且参最少算量最低。未来工作将构建更广地域光照天气的RGB-thermal林火数据集，并将检测器集成至含目标跟踪与告警传输的完整UAV监测流水线。论文发表于《Geomatics, Natural Hazards and Risk》。