《Ecological Informatics》:FF-fusion: A knowledge-distilled lightweight visible–infrared image fusion framework for Forest fire monitoring
编辑推荐:
可见光–红外图像融合通过整合可见光与热红外(thermal-infrared,TIR)模态的互补信息,为森林火灾监测提供了有效策略,尤其在烟雾干扰、低照度及复杂森林背景下。然而,面向森林火灾的成对数据集仍稀缺,且轻量化融合方法在真实监测场景与边缘部署约束下的评
可见光–红外图像融合通过整合可见光与热红外(thermal-infrared,TIR)模态的互补信息,为森林火灾监测提供了有效策略,尤其在烟雾干扰、低照度及复杂森林背景下。然而,面向森林火灾的成对数据集仍稀缺,且轻量化融合方法在真实监测场景与边缘部署约束下的评估尚不充分。针对这些局限,研究人员构建了TF-1770——一个由地面与无人机(UAV)消防场景采集的空间对齐可见光–红外森林火灾数据集,涵盖多样视角、烟雾密度、光照条件与目标尺度。基于TF-1770,研究人员提出FF-Fusion,一种基于知识蒸馏(knowledge distillation,KD)的轻量化可见光–红外图像融合框架。教师网络通过基于小波(wavelet-based)的融合与跨模态特征建模学习鲁棒多模态表示,学生网络引入可重参数化卷积块以实现高效边缘推理。在TF-1770上的实验表明,FF-Fusion的熵(entropy,EN)、标准差(standard deviation,SD)、平均梯度(average gradient,AG)、视觉信息保真度(visual information fidelity,VIF)与边缘信息传递度量(edge information transfer metric,Qabf)分别达7.10、43.66、10.83、0.649与0.584;可部署学生模型仅1.34 MB。下游检测实验显示融合图像增强了火焰、烟雾与消防员的感知;异构平台边缘部署测试验证了其在资源受限设备上的可行性。结果表明,轻量化可见光–红外融合可为实用森林火灾监测提供有效视觉支撑,所提工作流(数据集构建—模型设计—下游验证—边缘部署)亦可服务于未来可部署生态监测系统。
研究背景方面,森林火灾对生态安全、公共安全与碳储量构成严重威胁,全球野火频次与强度在气候变化驱动下上升,亚热带密林区域火险压力加剧。单一可见光成像受夜间、低照度、强逆光与浓烟退化明显,而热红外(long-wave infrared,LWIR,8–14 μm)虽对烟熏与弱光鲁棒,却缺乏纹理细节;多模态融合可互补二者优势,但现有融合数据集多来自交通、行人或医学场景,真实森林火场的空间对齐可见光–红外配对数据稀缺,且前沿融合模型计算量大难以直接边缘化,下游任务级验证与低成本的神经处理单元(neural processing unit,NPU)/脑处理单元(brain processing unit,BPU)部署研究不足。为此,研究人员以湖南株洲可控林火现场为主,构建TF-1770数据集,并提出FF-Fusion框架,旨在兼顾融合质量与边缘效率,贯通“数据—模型—检测—部署”闭环。《Ecological Informatics》刊发该项工作。
关键技术方法上,研究人员从地面消防员第一视角与无人机(DJI Mavic 2 Enterprise Advanced、Matrice 300 RTK配Zenmuse H20T,10–120 m)及地面海康DS-2TD2615-7与头盔式自研系统同步采集1770对可见光–红外图像,经增强相关系数配准、视场裁剪与统一640×480对齐;构建教师–学生架构,教师采用双分支编码、离散小波变换融合(discrete wavelet transform-based fusion,DWT-Fusion)浅层与跨模态卷积融合(cross-modal convolution fusion,CMC-Fusion)深层,学生以通道拼接输入、多样分支块(diverse branch block,DBB)可重参数化卷积压缩至8–64通道,通过特征级L2、输出级L1与重建损失联合蒸馏;训练用Adam(lr=1e?4,batch=1,300 epoch),评测含SD、MI、VIF、AG、EN、Qabf、SF及延迟/模型体积,并在LLVIP、MSRS跨库验证,以YOLO12n测火焰/烟雾/消防员检测,最后在Jetson Orin NX/Nano Super(FP32/FP16)与RDK X5(INT8)跑1116帧离线序列。
研究结果各节要点如下。数据集构建(2.1)节表明,TF-1770含826地面视角与944无人机视角,覆盖691烟熏、418低照、661强焰样本,标注火焰/烟雾/消防员,解决真实林火多视角对齐缺失问题。FF-Fusion架构(2.2)节指出,训练期教师与学生并行、推理期仅留重参数化学生,解耦高质量学习与轻量部署。教师网络(2.3)节通过DWT拆低频LL与高频HF分量分别融合再逆变换,深层通道拼接经1×1卷积(?)重组,证明频域分解助结构保留。学生网络(2.4)节以DBB多分支训练、等效单卷积推理,参数量降至1.34 MB。知识蒸馏机制(2.5)节以L=Lrec+λfdLfd+λodLod迁移多尺度表示。实验设置(3)节固定P100环境。定量比较(4.1.1)显示FF-Fusion的SD=43.66、EN=7.10、AG=10.83、VIF=0.649、Qabf=0.584、延迟20.14 ms均居前,且体积仅次SDNet但质量全面占优;定性(4.1.2)在近距火焰、低/高空无人机场景保持目标清晰与烟中结构。消融(4.2)去KD致MI由2.49降至1.07、VIF至0.212,去DWT降AG/SF,去DBB降细节,证三模块缺一不可。跨数据集(4.3)在LLVIP与MSRS无微调下VIF/EN/SD仍领先,泛化性强。下游检测(4.4)YOLO12n以FF-Fusion输入获mAP50=0.758、mAP50–95=0.332,烟雾AP=0.559超PIAFusion。边界例(4.5)极端夜暗/浓烟下融合趋近TIR但可视性优于单模。边缘部署(5)Jetson Orin NX FP16延迟104.76 ms、RDK X5 INT8仅18.36 ms(54.47 FPS)但MI/VIF略降、高频噪声升,直方图相关0.921证明无全局漂移。
讨论部分总结,研究人员指出TF-1770规模仍有限、未覆盖全黑/暴雨/浓雾极端边界,下游分割与长期野外系统集成待扩;但核心结论明确:FF-Fusion以KD将小波频域与DBB重参数化结合,在1.34 MB体量下取得EN=7.10、SD=43.66、AG=10.83、VIF=0.649、Qabf=0.584,下游mAP50达0.758,Jetson FP16保质量、RDK X5 INT8达54.47 FPS,贯通数据集构建—轻量融合—检测增强—异构边缘部署全链,为资源受限生态监测提供可复制范式。结论原文要义为:林火监测需多模态前端支撑,TF-1770补数据空白,FF-Fusion证轻量融合可兼顾质量与实时,跨库与检测验泛化,异构平台指明日成本敏感节点选INT8-BPU、质量敏感选FP16-Jetson,未来需扩场景多样性与长时野外闭环。