局部方差引导的自适应红外–热成像传感器融合框架用于充满烟雾消防环境中的人体目标检测

《Sensors》：Local Variance-Guided Adaptive Infrared–Thermal Sensor Fusion Framework for Human Target Detection in Smoke-Filled Firefighting Environments

　　

在充满烟雾的环境中实现可靠的人体目标检测，对消防机器人与救援感知系统至关重要。然而，传统RGB（Red-Green-Blue，红绿蓝）相机在浓烟下会因光散射、遮挡与对比度下降而严重退化；单一红外（IR，Infrared）或热成像（Thermal）传感器又无法同时提供充足结构细节与可靠目标相关热信息。为此，研究人员提出一种局部方差（Local Variance，LV）引导的自适应红外–热成像传感器融合框架，用于烟雾环境下的人体目标检测，旨在通过改进红外表征与跨模态信息利用来缓解多模态感知中的烟雾退化。研究人员设计了一种改进的暗通道先验（Dark Channel Prior，DCP）红外去烟算法，采用引导滤波细化透射率图、抑制光晕伪影并提升红外图像质量；进而提出局部方差引导自适应融合（Local Variance-guided Adaptive Fusion，LVAF）策略，以局部方差作为信息显著性度量，生成像素级自适应模态权重，融合去烟后红外与热成像图像。研究人员采用轻量化YOLO11n检测器，在自建浓烟双模态数据集上实现高效人体识别，并在检测精度、计算成本与推理效率间保持良好平衡。实验表明，该框架在浓烟红外–热成像双模态数据集上取得mAP@0.5为0.9950、mAP@0.5:0.95为0.9577；YOLO11n检测器阶段推理速度达73.07 FPS，参数量仅2.58 M，可为资源受限消防机器人平台提供轻量感知方案。

研究背景方面，火灾事故对人员与财产安全威胁重大，充满烟雾环境中快速可靠感知对救援至关重要。传统可见光相机受浓烟导致光散射、遮挡与对比度降低影响而严重退化。红外图像可保留结构与轮廓，但浓烟会使其对比度下降、目标边界模糊；热成像通过人体辐射特征对烟雾遮挡更具鲁棒性，但缺乏纹理与空间细节，单模态无法满足目标可见性、定位精度与环境鲁棒性要求。现有基于物理模型的去雾方法多用于可见光，直接用于红外会出现透射率估计不准、光晕与噪声放大；学习类增强需大量数据且可解释性弱。固定权重融合不能随空间变化调整模态贡献，梯度或显著性或注意力类自适应融合也少考虑烟雾造成的异质模态空间可靠性差异。大型检测网络算力需求高，轻量检测器又易受烟雾表征退化影响，因此需将多模态表征增强与高效识别协同起来。

该研究发表于《Sensors》，研究人员提出红外–热成像感知框架，包含改进暗通道先验去烟、局部方差引导自适应融合与YOLO11n轻量检测三部分，在自建工业消防仿真浓烟双模态人体检测数据集上验证，得出多模态融合与轻量检测可在浓烟场景取得高精度与高效率平衡的结论，意义在于为消防机器人提供可部署的轻量多模态感知思路。

关键方法上，数据来自工业合作伙伴提供的工业消防仿真场景浓烟双模态数据，含近红外与热成像两路对齐图像，原始分辨率1920×1080，训练2245对、验证942对，训练集做水平翻转、垂直翻转与亮度增强（+30%）。去烟端用改进暗通道先验：灰度过暗通道估计、引导滤波细化透射率图、最小透射阈值0.1抑噪；融合端用局部方差作信息描述子，经Min–Max归一化、高斯平滑与竞争权重归一化生成红外与热成像像素级互补权重；检测端直接用官方预训练YOLO11n微调，输入尺寸640×640，AdamW优化，训练100轮，余弦退火，混合精度，禁用旋转透视等破坏物理一致性的增强。

研究结果如下。

1. 1.
   Introduction
   研究人员指出浓烟下可见光退化、红外与热成像互补但各自受限，现有增强与融合方法在烟雾场景存在物理适配与空间自适应不足，轻量检测需与表征增强协同，由此引出本文框架与三点贡献。
2. 2.
   Proposed Infrared–Thermal Sensor Fusion Framework for Human Target Detection
   研究人员构建数据层、算法层与应用层架构。算法层含去烟、融合与检测模块。

2.1 Desmoking of Infrared Images in Smoke-Filled Environments

研究人员用大气散射模型，将多通道暗通道改为灰度红外局部最小，初估透射率后以灰度高红外作引导图做引导滤波，设最小透射率0.1，逆散射模型恢复去烟红外，结论是该方法比原始DCP更适合浓烟红外前处理，能保结构、抑光晕与过增强。

2.2 Multimodal Adaptive Fusion in Smoke-Filled Environments

研究人员以局部方差衡量局部信息丰富度，经归一化、高斯滤波与竞争归一化得红外权重w_IR与热成像权重w_T，满足w_IR+w_T≈1，最终融合图F=w_IR·I_desmoked+w_T·T。结论是热目标区热权重更高，背景结构区红外权重更高，融合图兼顾目标显著性与结构可分辨性。

2.3 Lightweight Human Target Detection Framework in Smoke-Filled Environments

研究人员不改YOLO11n结构，用官方权重微调，将其作为评估融合表征判别力的高效检测器，结论是YOLO11n参数量小、适合本文单类人体检测任务。

1. 3.
   Results Analysis of the Human Target Detection Method in Smoke-Filled Environments
   研究人员在扩展验证集（原942对经翻转与亮度增强扩为3768幅、3772个人体实例）上评估。

3.1 Dataset Description

研究人员说明数据为对齐近红外与热成像人体检测集，YOLO格式标注类别0为人，结论是数据可支持浓烟多模态融合检测复现。

3.2 Experimental Settings

研究人员在RTX 5060笔记本GPU、Ryzen 9 8945HX、Windows环境下用Ultralytics框架训练，结论是统一设置保证对比公平。

3.3 Evaluation Metrics

研究人员采用IoU（Intersection over Union，交并比）、Precision（精确率）、Recall（召回率）、MR（Miss Rate，漏检率）、F1-score、AP（Average Precision，平均精度）、mAP（Mean Average Precision，均值平均精度）与mAP@0.5、mAP@0.5:0.95，结论是指标覆盖定位与漏检安全需求。

3.4 Training Convergence Analysis

研究人员观察损失与精度曲线，训练/验证损失同步下降、Precision与Recall快速上升后平稳，结论是模型收敛稳定、无显著过拟合。

3.5 Comparative Experiments

3.5.1 Detector Selection Under the Proposed Infrared–Thermal Representation

研究人员比较YOLOv8n、YOLOv8s、YOLO11s、YOLO11m与YOLO11n，各检测器mAP@0.5均达0.9950，YOLO11n仅2.58 M参数、mAP@0.5:0.95为0.9577、检测器阶段73.07 FPS，结论是轻量YOLO11n可有效利用融合表征。

3.5.2 Ablation Study of Preprocessing and Multimodal Fusion Strategies

研究人员设Full Method、No Desmoke、No Fusion、Simple Fusion四组。相对No Fusion，Full Method的mAP@0.5:0.95由0.9205升至0.9577、Recall由0.9958升至0.9989；相对Simple Fusion，精度相当但检测器阶段吞吐由51.16 FPS升至72.79 FPS；结论是多模态融合提升严格定位与召回，LVAF在同等精度下速度–精度平衡更优。

3.6 Qualitative Visualization Analysis

3.6.1 Detection Results Under Different Extended Validation Transformations

研究人员展示原图、水平翻转、垂直翻转、亮度增强下预测框一致，结论是视角与亮度扰动下检测鲁棒。

3.6.2 Modality Fusion Weight Visualization

研究人员可视化红外权重、热权重与差值图，热权重在人体内较高、红外权重在背景结构较高，结论是LVAF空间自适应符合双模态互补特性。

3.6.3 Precision–Recall Curve Analysis

研究人员给出PR曲线，AP@0.5为0.9950，高Recall区间仍保高Precision，结论是精度–召回平衡适合消防救援低漏检需求。

讨论与结论翻译部分，研究人员在Conclusions中指出：为解决浓烟环境人体目标检测难题，本文提出融合烟雾导向红外增强、局部方差引导自适应融合与YOLO11n轻量检测的红外–热成像融合检测框架。改进暗通道先验去烟用引导滤波细化透射率图并设最小透射阈值，减少光晕与过增强；局部方差引导融合按局部显著性分配空间自适应权重，使融合图兼顾热目标显著性与红外结构细节；YOLO11n以2.58 M参数取得mAP@0.5为0.9950、检测器阶段73.07 FPS。完整前后处理加检测时延约128 ms，表明框架有朝资源受限消防救援机器人平台部署的潜力。局限在于仅在特定浓烟双模态集验证，极浓烟下红外与热信息可能不足，当前以单人及有限多人场景为主，复杂遮挡拥挤场景需改进多目标关联与实例级感知；未来将在Jetson类嵌入式设备部署，并轻量化LVAF与端到端推理优化。