融合注意力机制的多模态深度学习模型，用于智能 wildfire（野火）存在分类

《Remote Sensing Applications: Society and Environment》：Attention-fused multi-modal deep learning model for intelligent wildfire presence classification

　　摘要
野火对环境和人类仍构成重大威胁，这增加了对有效野火检测系统的需求。传统的单一模态监测系统会产生大量误报和漏检，从而降低了响应者的信心和实际可靠性。为了解决这些问题，本研究提出了一种多模态深度学习方法——融合注意力野火分类模型（FAWCM），该方法结合了自注意力（self-attention）和交叉注意力（cross-attention）技术，以整合互补的RGB图像和热红外图像数据。通过根据环境条件动态调整不同输入的重要性，该框架克服了现有系统中静态融合方法的局限性。在该模型在FLAME-2基准数据集上的测试中，准确率为99.50%，精确率为99.59%，召回率为99.72%，F1分数为99.65%。与传统单一模态系统相比，1.09%的假阳性率减少了不必要的紧急警报，而0.28%的假阴性率意味着725起真实火灾中仅有2起未被检测到，这解决了生命安全应用中最严重的故障模式。这些成果支持了联合国的可持续发展目标13（气候行动），通过实现智能且高效的野火监测来抵御与气候变化相关的野火危害。

引言
森林在管理全球气候变化和生物多样性下降方面发挥着至关重要的作用，作为关键的生态系统支持人类生计（Forest Declaration Assessment Partners, 2024）。它们维护陆地生物多样性，并为全球超过16亿人提供食物、燃料、木材和庇护所等基本资源。森林调节水文循环，促进粮食和水安全，并通过吸收和储存大气中的碳成为最大的陆地碳库。由于其在气候调节中的作用，森林支持了《巴黎协定》等重大全球倡议，帮助实现1.5°C的全球升温目标。然而，人类活动和环境干扰（如森林破碎化、砍伐、退化和气候相关的野火）严重影响了森林（Ma等人，2023年）。这些压力对野生动物、环境和当地社区产生了负面影响。由于全球超过50%的GDP依赖于自然，森林退化导致了严重的社会和经济损失。因此，本研究有助于实现联合国的可持续发展目标（SDGs），特别是SDG 13（气候行动）和SDG 15（陆地生命），通过改进野火分类（WFC）来管理森林。

野火是重大的环境危害，因为它们通过森林砍伐、大气污染、土壤退化和温室气体排放加速气候变化，造成严重破坏。不同地区频繁发生的野火表明需要有效的监测和分类方法。传统方法通常使用单一模态数据（如热红外或光学图像），但这些数据可能无法完全捕捉野火的复杂空间、热学和光谱特性。此外，环境条件、传感器性能变化和时间特性降低了这些方法的有效性。整合多种数据类型对于提高性能变得至关重要。在这种情况下，基于深度学习的多模态融合方法提供了一种可靠的方式来结合来自各种数据源的互补信息。特别是基于注意力的融合策略能够有效学习关键的空间和热学特征，提高WFC的可靠性，并支持野火监测应用。尽管已经设计了几种基于深度学习的野火监测方法，但传统野火特征分类方法的可靠性和有效性仍面临重大挑战。环境变异性对主要依赖于单一模态数据流的WFC方法构成特别挑战，这些方法常常会忽略微妙的热异常现象，也无法同时捕捉火焰和烟雾的纹理信息。因此，在低光照、烟雾遮挡或热背景复杂的场景中，它们的性能显著下降。传统的融合模型主要依赖简单的串联，缺乏自适应权重，未能充分利用RGB和热红外图像结合的潜在协同效应。依赖单一模态通常会导致特征表示不完整，降低灵活性，并在各种野火场景中增加错误分类率。另一个关键问题是有效整合异构模态。大多数传统方法使用直接串联或固定权重融合方法，无法捕捉热数据和空间数据之间的复杂关系。

基于注意力的学习模型通过实现模态间的有意义交互并自适应地关注重要特征，提供了强有力的替代方案。自注意力策略通过捕获单一模态内的长距离依赖关系来增强模态内表示学习，而交叉注意力策略则促进了热数据和RGB数据之间的信息交换。受这些优势的启发，本研究提出了一个基于混合注意力的多模态框架，能够有效捕捉不同野火环境中的互补特征。深度学习通过从大规模数据集中自动学习复杂特征表示，推动了遥感和环境分析的发展。基于Transformer的架构在WFC中展示了提取区分性空间模式和语义信息的强大能力。基于这些进展，本研究提出了一个结合自注意力和交叉注意力机制的混合注意力框架，以提高WFC性能。自注意力部分通过强调重要的空间和热学特征来改进特定模态的特征表示，而交叉注意力机制则模拟模态间的相互作用以捕捉互补的相关性。所提出的双注意力架构能够自适应地加权信息特征并抑制背景噪声，为WFC提供有效框架。在本研究中，所提出的框架被设计为一个二值图像级的WFC问题，而不是燃烧区域分割或野火对象检测。具体来说，配对的RGB和热图像被分类为两类：非火灾（Non-Fire）和火灾（Fire）。因此，本研究将识别野火的存在称为野火检测。

整合RGB和热模态证实了该模型能够捕捉互补的空间和热学特征，从而在不同场景中提高了分类性能和可靠性。在对FLAME-2数据集的全面实验研究中，该模型在准确率、精确率、召回率和F1分数方面表现出稳健的性能。基于注意力机制的融合方法能够有效聚焦野火相关区域，抑制无关背景信息，并减少错误分类。该模型还能适应不同的环境条件和大规模数据集，适用于环境和野火监测应用。

全球范围内，野火严重性和频率的增加要求可靠、准确的分类系统用于环境监测和灾害预防。RGB图像提供上下文和空间特征，而热图像能检测到看不见的火源和温度变化。单独使用任何一种模态都无法提供足够的野火评估细节。整合RGB和热模态可以增强野火表示，并在不同环境场景下提高分类的鲁棒性。然而，传统融合方法在频繁未能捕捉空间和热学特征之间的复杂依赖关系时，会降低可靠性并增加误报率。基于混合注意力策略的深度学习模型能够动态学习区分性的模态内和模态间表示，实现更稳健的WFC。为解决这一研究空白，本研究追求以下具体且可验证的目标：
1. 开发融合注意力野火分类模型（FAWCM），这是一种新颖的多模态深度学习框架，能够有效结合互补的RGB和热红外数据流，实现野火存在的稳健二值分类。
2. 构建一种混合自注意力和交叉注意力策略，同时细化模态内特征表示并自适应捕捉模态间依赖性，使模型能够专注于区分性火源模式。
3. 使用FLAME-2基准数据集验证所提出的框架。
4. 进行消融实验，系统评估各个架构组件的贡献，包括自注意力、交叉注意力和融合模块。

该模型严格限于使用预对齐的RGB-热图像对的静态图像级二值分类；它不涉及燃烧区域的像素级分割、火点定位或火势传播动态的时间建模。本研究提出了三项直接解决野火监测操作中重大限制的关键验证贡献：
(i) 解决静态融合的局限性：传统的RGB-热图像融合依赖于简单的串联，无法在不同环境条件下自适应地优先选择更可靠的模态。所提出的混合双注意力框架动态调整模态重要性，与早期融合基线相比，F1分数提高了3.45%，有效解决了这一关键限制。
(ii) 降低操作系统的误报率：仅使用RGB的系统会将类似烟雾的云误分类为火灾，而仅使用热图像的方法经常会在阳光加热的岩石上产生误报，误报率超过20%。我们的框架实现了1.09%的误报率，大大减少了不必要的警报。
(iii) 在具有挑战性的条件下最小化漏检：单一模态基线在烟雾遮挡和低光照条件下会漏检火灾，这是生命安全应用中最关键的故障模式。我们的框架保持了99.72%的召回率（误报率为0.28%），证明即使在恶劣环境下也能极少漏检实际火灾。

本研究为野火监测研究提供了三项关键验证贡献：
(1) 开发了一种双注意力RGB-热图像融合框架，通过根据环境条件动态重新校准模态重要性，解决了朴素多模态串联的静态加权限制；
(2) 结合了双向交叉注意力和模态内自注意力的策略，允许同时细化特定模态特征并进行自适应的模态间特征对齐；
(3) 采用ResNet-50骨干网络的高效双分支架构，在FLAME-2数据集上实现了99.50%的准确率和99.65%的F1分数，误报率和漏报率较低（分别为1.09%和0.28%），满足了可靠野火监测的关键操作要求。

实验评估、基线比较和消融研究详见“实验部分”（第4节）。

论文结构——本文的其余部分组织如下：第2节介绍了关于单一模态检测、多模态融合、注意力策略以及生态和环境视角的文献综述。第3节讨论了所提出的FAWCM框架及其各个模块。第4节讨论了实验结果，包括比较研究和消融实验。第5节提供了结论、局限性和未来工作。

相关工作
在本部分中，现有研究基于三个主题进行了回顾：(1) 单一模态方法；(2) RGB-热图像多模态融合；(3) 多模态特征对齐的注意力策略。

提出方法
本节讨论了所提出的FAWCM模型及其不同模块，如特征提取、自注意力和交叉注意力融合以及训练协议。

实验与结果
本节讨论了实验设置和评估，包括与基线的比较研究、消融研究和误差分析。所有实验均使用Python 3.10.12、SciPy v1.11.4和scikit-learn v1.3.0进行。结果表明，结合RGB和热特征显著提高了分类准确性，相比单一模态方法更为有效。此外，整合混合注意力机制提高了框架减少冗余的能力。

结论与未来工作
本研究设计了一个结合RGB和热模态的二值野火存在分类框架，通过混合注意力驱动的深度学习模型实现。尽管所提出的FAWCM框架不支持像素级的野火分割或定位，但研究结果证实，混合注意力驱动的多模态融合能够在不同的环境背景下支持稳健的野火场景分类。在FLAME-2数据集上的实验研究表明，该模型能够有效捕捉互补特征。

作者贡献声明
Pandiyaraju V.：撰写——原始草稿，可视化，验证，监督，资源，方法学，调查，正式分析，数据整理，概念化。
Deva Nithyanandham：撰写——审稿与编辑，撰写——原始草稿，可视化，验证，软件，方法学，调查，正式分析，数据整理，概念化。
Anirudh Vinodh：撰写——原始草稿，可视化，验证，软件，方法学，调查，正式分析，数据整理，概念化。

代码可用性声明
FAWCM框架的完整源代码、预训练模型权重、预处理数据集分割文件和评估脚本将在GitHub上公开提供（将在本文被接受后添加永久链接）。

资金情况
作者未收到任何资助。

利益冲突声明
作者声明没有已知的竞争性财务利益或个人关系可能影响本文的研究内容。