RoboFireFuseNet：一种鲁棒的可见光与红外野火图像融合技术，用于实时火焰和烟雾分割

《Pattern Recognition Letters》：RoboFireFuseNet: Robust Fusion of Visible and Infrared Wildfire Imaging for Real-Time Flame and Smoke Segmentation

多模态语义分割模型RFFNet通过融合RGB与红外数据，结合注意力机制和细节保留解码器，解决了火灾与烟雾实时分割中的遮挡与精度问题，在复杂数据集上达到最优性能。

　　

Dimitrios Fotiou|Vasileios Mygdalis|Ioannis Pitas

塞萨洛尼基亚里士多德大学信息学院，希腊塞萨洛尼基

摘要

火焰和烟雾的同时分割具有挑战性，因为在标准的RGB图像中，烟雾经常遮挡火焰，因此需要使用其他光谱带，如红外（IR）。现有的多模态模型要么计算要求过高，无法实时应用，要么过于轻量级，无法捕捉可能演变成大规模野火的小范围火源。此外，这些模型通常在简化的数据集（如Corsican或FLAME1）上进行训练和验证，而这些数据集缺乏现实世界场景中的密集烟雾遮挡现象。我们提出了RoboFireFuseNet（RFFNet），这是一种实时深度神经网络，它利用注意力机制、细节保留解码器和类平衡训练技术融合RGB和IR数据。RFFNet在具有密集烟雾的复杂野火数据集上建立了基准，为未来的野火分割研究提供了实用比较的基础。尽管设计较为轻量级，但它在通用城市基准测试中仍取得了领先的结果，展示了其多功能性。代码可在此处获取：https://gitfront.io/r/dfotiou/eiTd3o9UURjn/RoboFireFuseNet-private

引言

野火是一个由气候变化引起的全球性挑战[1]，无论是在频率还是破坏力方面，都对人类生命[2]、环境[3]和经济[3]构成严重威胁。因此，野火成像、检测和图像分割已成为科学界关注的焦点领域。用于捕捉可见光（RGB）或红外（IR）光谱的野火成像传感器可以是机载的（使用无人机），也可以是基于固定或移动平台的。这些传感器对于野火管理非常有益，可以自动化火灾前的监测以实现早期发现[4]，并在野火期间提供关键信息以模拟火势蔓延并指导灭火策略[5]。

不同的光谱带在成像火焰方面具有不同的优势。可见光谱提供颜色信息，但会被烟雾[6]削弱，从而可能遮挡火焰。短波红外（SWIR）能够有效穿透烟雾检测高温火焰[7]。中波红外（MWIR）由于受到大气中CO₂和H₂O的吸收而效果较差[8]。相比之下，长波红外（LWIR）能够可靠地捕捉密集烟雾中的低温热辐射[9]，非常适合在早期阶段检测闷烧的火焰[10]。

尽管基于融合的模型在基准数据集[11]、[13]上取得了成功[11]，但多模态语义分割在野火检测方面仍面临重大瓶颈[12]。当前模型往往在性能和资源使用之间陷入权衡：要么计算资源需求过高，无法实时应用[12]，[14]，要么无法准确捕捉小范围的火源[11]。这一问题因深度神经网络（DNN）中一种普遍的架构趋势而加剧：通过激进的前层下采样来优先考虑速度。这种策略从根本上限制了模型识别小范围、稀疏且形状不规则物体的能力，而这对于在火势升级前识别关键早期火源区域至关重要。

现有的专门用于野火分割的DNN模型大多在过于简化的数据集上进行训练，例如Corsican[15]（图1），其中火焰清晰可见，或者像FLAME1[16]（图1(b)）这样不切实际的数据集，它描绘了雪地环境中的火灾。在这些数据集中，模态间的遮挡很少，限制了多模态融合的价值，而且很少有模型能够同时分割火焰和烟雾。仅依赖火焰检测往往不够充分：火焰可能距离较远、部分被遮挡或被烟雾掩盖，这使得烟雾成为早期检测的关键信号。在资源有限的边缘设备（如无人机）上运行单独的火焰和烟雾检测模型是不切实际的。

为了解决上述问题，我们提出了RoboFireFuseNet（RFFNet），这是一种用于野火中火焰和烟雾鲁棒分割的实时多模态语义分割模型。除了RGB输入外，该模型还利用IR光谱来识别被遮挡的热信号和低温早期火焰点。RFFNet扩展了高性能的PIDNet框架[18]，通过引入独立的模态路径和增强注意力的融合模块来捕捉远距离的上下文依赖性，同时保留边界细节。采用U-Net风格的解码器[19]和跳跃连接来保留高分辨率的空间特征。该模型在具有挑战性的FLAME2无人机数据集[17]（图1(c)、1(d)）上进行了训练，使用专门的损失函数和数据增强来缓解严重的类别不平衡问题，从而证明了RFFNet在计算效率和准确性方面的优势。

总结来说，我们的主要贡献如下：

• •
  我们提出了一种新型的实时融合DNN，具有针对RGB和IR流的模态特定路径、基于注意力的融合机制以及细节保留解码器。
• •
  一个统一的模型能够同时分割火焰和烟雾，解决了严重的类别不平衡问题。
• •
  我们的方法在具有挑战性的真实野火数据集中实现了对小范围、被遮挡火焰的鲁棒和准确检测。
• •
  RFFNet在具有挑战性的分割基准测试中达到了最先进（SOTA）的性能水平，同时体积更小、计算效率更高。

相关工作

相关工作

在本节中，我们回顾了使用单光谱或多光谱方法进行火焰和烟雾分割的方法。在多光谱方法中，我们评估了在通用基准数据集上的最先进（SOTA）融合分割方法。

RGB和IR特征融合

我们模型的基础是PIDNet [18]，它包含一个捕捉高层次语义信息的上下文路径和一个专注于局部空间图像细节保留的空间路径。这种双路径方法受到了[40]中提出的概念的启发，其中使用不同步长的卷积来有效捕捉空间和上下文特征。然而，仅依赖这两个路径的分割可能导致小区域被抑制和区域边界不精确。

数据集

由于缺乏同时包含火焰和烟雾注释的RGB-IR野火数据集，我们手动从FLAME2数据集[17]中注释了995对同步帧（555个训练集，240个验证集，200个测试集），该数据集记录了亚利桑那州的预定火灾。在注释过程中，同时包含火焰和烟雾的像素被优先标记为火焰。图像在训练和推理时均以256×256的分辨率进行处理。这些自定义注释和划分在我们的代码仓库中公开提供。

消融研究

我们介绍了用于开发多模态融合鲁棒框架的架构和训练策略，该框架专为野火场景设计。我们的贡献提高了RFFNet的实时处理能力，同时显著改善了从RGB和IR图像中分割烟雾和火焰的效果。表3显示了省略任何RFFNet组件时各类别的性能下降情况，突显了我们方法的有效性。

最显著的改进来自于

结论

在这项工作中，我们提出了一种新型的实时分割模型，缩小了计算密集型最先进架构与计算效率较低的轻量级替代方案之间的性能差距。我们的模型专为同时分割烟雾和火焰这一具有挑战性的任务而设计，其有效性源于一种协同架构，该架构通过中间融合策略结合了多模态RGB和红外（IR）输入，并采用了注意力机制。

未引用的参考文献

缺失的参考文献：图2

CRediT作者贡献声明

Dimitrios Fotiou：撰写 – 审稿与编辑，撰写 – 原稿，软件开发，数据整理，概念构思。

Vasileios Mygdalis：撰写 – 审稿与编辑。

Ioannis Pitas：撰写 – 审稿与编辑。

利益冲突声明

FOTIOU DIMITRIOS报告称获得了欧盟委员会的支持。如果还有其他作者，他们声明没有已知的利益冲突或个人关系可能影响本文所述的工作。

致谢

本项目由欧盟地平线欧洲计划（GA 101093003, HORIZON-CL4-2022-DATA-01-01）资助。