《ADVANCED ENGINEERING INFORMATICS》：BoXFire: Geometry-aware box-supervised fusion for accurate fire and smoke segmentation
编辑推荐：
火烟雾分割任务中，基于边界框的弱监督学习模型BoXFire通过融合多尺度特征、实例 aware细化模块和动态原型头，显著提升分割精度和泛化能力，在复杂场景下表现优于传统方法。
Muhammad Ayaz|Sareer Ul Amin|Salman Khan|Yonghoon Jung|Wonseop Shin|Mi Young Lee|Sanghyun Seo
韩国忠?大学应用艺术与技术系，安城17546
摘要
火与烟雾的分割精度对于确保快速响应和及早发现安全关键情况至关重要。尽管基于深度学习的方法在这一领域有所改进，但仍存在两个挑战：需要使用昂贵的逐像素注释，以及泛化能力较低，难以适应其他环境。边界框弱监督学习提供了一种更具可扩展性的解决方案，但现有方法通常生成的掩膜较为粗糙，无法准确跟随物体的细微边界，也无法很好地处理火与烟雾的动态形状。为了解决这些问题，我们提出了BoXFire，这是一种新型的弱监督模型，仅使用边界框即可生成高质量的掩膜。BoXFire包含三个核心模块：混合注意力特征聚合器（HAFA）用于增强特征的多尺度融合，实例感知细化模块（IARM）用于细化边界，以及动态原型头（DPH）用于学习结构多样性。此外，一种基于伪标签的几何感知的框到掩膜生成策略填补了弱监督与像素级监督之间的性能差距。通过五个基准数据集（包括室内、室外、空中和合成环境）的广泛评估表明，BoXFire显著优于现有的框监督方法，平均精度（mAP）提高了3%–7%，并且性能可与完全监督的方法相媲美。定性分析也证实了其在低光照、杂乱和视觉模糊环境中的有效性。这些发现使得BoXFire成为一种高效且可扩展的实时火与烟雾检测系统解决方案，不仅在注释方面有效，而且在泛化能力上也表现出色。代码和预训练模型可在此链接获取：
https://github.com/ayazkhan789/BoxFire.git引言
近年来，涉及火与烟雾的事件在全球范围内不断增加，这对基础设施、生态系统和人类生活造成了灾难性影响，成为一个严重问题。野火、工业事故和住宅火灾等灾害显著加剧了这一威胁[1]。除了直接的物理破坏外，火灾还会释放大量二氧化碳和其他温室气体，加剧气候变化，可能增加未来火灾事件的频率和严重性。此外，火灾产生的烟雾对公共健康构成严重风险，尤其是对脆弱人群。由于烟雾能够长距离传播，它会影响广泛的地理区域的空气质量。在城市和工业环境中，失控的火灾可能导致巨大的经济损失、财产损失和人员伤亡，这凸显了有效火与烟雾检测和缓解策略的紧迫性[2]。近年来，基于视觉的方法因其可扩展性和在智能监控系统中的易用性而受到广泛关注。然而，由于火与烟雾的动态行为、形状变化、透明度以及与雾、云或阳光等环境元素的相似性，准确识别和定位它们仍然是一项具有挑战性的任务。
最近关于火与烟雾监测的研究中，深度学习技术的应用显著增加，特别是对象检测和分割方法。使用CNN和变压器的对象检测模型在各种环境中定位火与烟雾方面取得了显著进展。提出了一种通过数据增强和集成技术提高分类准确性的基于CNN的火灾检测方法[3]。为复杂烟雾场景量身定制的变压器检测器提高了对遮挡和光照变化的鲁棒性[4]。开发了一种针对边缘设备进行实时火灾检测的轻量级对象检测模型[5]。此外，设计了一种双分支网络分别检测火焰和烟雾[6]，并利用时空特征进行视频监控应用[7]。多尺度检测用于定位小范围火灾区域[8]，并结合注意力机制更好地捕捉细微的烟雾模式[9]。红外和可见光图像的多模态融合提高了检测精度[10]，变压器架构被用于复杂的城市场景[11]。尽管取得了这些进展，对象检测方法在低对比度或高度动态的环境中往往难以精确描绘火与烟雾的边界。这些方法通常提供的边界框较为粗糙，可能无法准确捕捉火或烟雾区域的全空间范围，从而限制了其在像素级理解和分割任务中的效果。
同样，也开发了几种用于精确定位和分析火势蔓延的分割方法。提出了改进复杂条件下火区边界的分割方法[12]。引入了高级分割技术以提高空间精度和鲁棒性[13]。采用细粒度分割技术更好地识别火边界[14]。针对动态火灾场景设计了新的分割框架[15]。这些分割方法已广泛应用于各种火灾监测任务，包括早期检测和风险评估[16]、[17]。然而，这些方法在复杂的真实世界环境中经常面临性能问题，并且受限于昂贵的注释和缺乏多样化的训练数据。
尽管最近使用深度学习进行火与烟雾检测和分割的研究取得了有希望的结果，但仍有一些重要限制阻碍了其在实际应用中的有效性。最显著的挑战之一是对完全监督学习技术的依赖，这些技术需要逐像素的掩膜注释。这些注释成本高昂、劳动密集且难以扩展，限制了强大模型的开发和部署。此外，目前用于训练和评估火与烟雾分割模型的数据集在规模和多样性方面都存在不足。大多数数据集是在特定条件下收集的，例如特定的室内或室外环境、固定的时间或使用单一类型的传感器，导致模型在新、未见或动态场景下的表现不佳。此外，火与烟雾的动态特性（如形状变化、透明度和移动）以及它们与其他环境元素（如雾、云或阳光）的视觉相似性，使得准确分割成为一项具有挑战性的任务。现有模型往往缺乏在不同领域（如不同地理区域、天气条件或光照场景）有效运行的泛化能力。虽然一些研究开始探索多模态融合和时空建模，但这些技术尚未得到充分利用，也不足以应对火与烟雾环境的复杂性。
为了克服现有火与烟雾分割方法的局限性，我们提出了BoXFire，这是一个针对多样化和具有挑战性的环境（包括室内/室外场景、不同距离、白天/夜晚条件以及真实和合成图像）设计的融合驱动的框监督框架（见图1）。主要贡献包括：
- 1.
新型框监督框架： 仅需要边界框注释的强大实例分割架构，在复杂的真实世界场景中显著降低了注释成本，同时保持了高精度。
- 2.
通过三个关键模块增强特征融合： 这些模块集成到Box2Mask [18]基础中，提高了表示质量和掩膜精度：
- (a)
HAFA结合通道注意力和空间注意力以及残差缩放，融合多尺度特征，提高了在低光照、遮挡和杂乱环境下的鲁棒性。
- (b)
IARM通过卷积细化、注意力加权和残差学习结合局部空间细节和全局上下文，使边界更加清晰，提高了重叠实例的分离能力。
- (c)
DPH通过将学习到的原型与实例特定系数融合来构建实例掩膜，实现了对不同形状和外观的灵活准确掩膜生成。
- 3.
领域多样化训练： 在结合合成和真实世界图像的大规模数据集上进行训练，涵盖了不同的光照、遮挡和视角，实现了强大的跨领域泛化能力。
- 4.
广泛评估： 在多个火与烟雾和无人机数据集上证明了优于现有方法的性能，在精度、鲁棒性和适应性方面表现出一致的提升。
本文的后续部分安排如下：第2节详细介绍了与火与烟雾检测和分割相关的现有文献。第3节提供了所提出的火与烟雾分割网络组件的技术细节。第4节重点介绍了所提出技术的验证，随后使用基准数据集进行了性能评估，并与最先进的火与烟雾分割方法进行了比较分析。第5节总结了本文并讨论了火与烟雾分割研究的潜在未来方向。
相关研究
火与烟雾分割已经采用了多种技术进行研究，包括框监督实例分割、基于水平集的分割方法和火分割数据集。每种方法都有其特定的优势，但在应用于火与烟雾的动态和模糊特性时也面临独特的挑战。
提出的BoXFire
BoXFire是一个统一的、模块化的框架，仅使用边界框注释进行火与烟雾实例分割。其基础是灵活残差特征提取器（FRFE），该提取器基于ResNet-50（ResNetV1d）架构，生成层次化的特征图（），捕获了细粒度纹理和高级语义。这些特征通过HAFA进行细化，HAFA结合空间和通道注意力产生聚合特征（），突出显示与火和烟雾相关的区域。
实验设置和结果
在本节中，我们通过多个火与烟雾数据集的全面实验评估了提出的BoXFire框架。我们描述了实现细节、增强策略和超参数设置。使用COCO风格的指标，我们在不同条件下评估了性能。消融研究突出了HAFA、IARM和DPH的贡献，而与最先进方法的比较展示了BoXFire的鲁棒性和有效性，特别是在
结论与未来工作
火与烟雾在安全关键环境中构成重大威胁，因此准确高效的检测对于早期干预和风险缓解至关重要。现有的分割方法通常依赖于昂贵的像素级注释，并且在处理低光照、杂乱背景和视觉相似的干扰物等复杂和模糊的现实世界条件时难以泛化。为了解决这些挑战，我们提出了BoXFire，这是一个从边界框学习的新型框架
CRediT作者贡献声明
Muhammad Ayaz： 撰写——原始草稿、可视化、方法论。Sareer Ul Amin： 撰写——审阅与编辑、可视化、验证、方法论、概念化。Salman Khan： 撰写——审阅与编辑、可视化、验证。Yonghoon Jung： 撰写——审阅与编辑、监督、数据整理。Wonseop Shin： 撰写——审阅与编辑、验证、数据整理。Mi Young Lee： 撰写——审阅与编辑、资源准备、形式分析、概念化。Sanghyun Seo： 撰写——审阅
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
本工作得到了韩国政府（MSIT）资助的韩国国家研究基金会（NRF）（RS-2025-00518960，50%）和韩国科学技术信息通信部（MSIT）的支持，该支持来自ITRC（信息技术研究中心）（IITP-2026-RS-2024-00438056）项目，该项目由IITP（信息与通信技术规划与评估研究所）监督
