综述：基于人工智能和计算机视觉的野火烟雾数据集与模型综述：全面调研与基准测试

《Machine Learning with Applications》：Toward AI-driven fire imagery: Attributes, challenges, comparisons, and the promise of VLMs and LLMs

本综述系统梳理了42个野火烟雾数据集（如FLAME、BoWFire等），详细分析了其多模态特性（RGB、红外、音频等）与CV/VLM/LLM模型的适配性。通过基准测试揭示了现有数据集在分类（Classification）、分割（Segmentation）、检测（Detection）任务中的性能差异，为AI驱动的野火管理（包括早期预警、灾情评估）提供了数据选择指南和未来研究方向（如多模态融合、域适应）。

　　

野火管理中的多模态数据集与AI模型演进

引言

野火在全球范围内引发日益严重的生态和经济危机，传统监测方法存在延迟高、覆盖有限等瓶颈。人工智能（AI）技术特别是计算机视觉（CV）和视觉-语言模型（VLM）为野火动态感知提供了新范式。本文系统综述了野火监测领域的数据集与模型进展，聚焦多模态数据融合与算法创新。

计算机视觉在野火管理中的角色

传统CV方法通过特征工程处理图像，但依赖人工设计特征导致泛化能力有限。深度学习模型（如CNN、Transformer）通过端到端学习实现了突破：

• •
  分类任务：ResNet、EfficientNet等模型对火焰/烟雾图像进行二分类或多分类
• •
  分割任务：U-Net、DeepLab系列实现像素级火焰分割
• •
  检测任务：YOLO系列、Faster R-CNN完成边界框定位

然而，纯视觉模型面临遮挡、光照变化等挑战，需结合多模态数据提升鲁棒性。

大型语言模型与视觉-语言模型的兴起

大型语言模型（LLM，如GPT-4、LLaMA系列）通过自然语言理解增强灾害报告分析能力。视觉-语言模型（VLM，如CLIP、ALIGN）融合视觉与文本特征，支持：

• •
  零样本火灾检测（无需训练数据）
• •
  多模态问答（如结合卫星图像与气象报告）
• •
  语义推理（如火势蔓延预测）

VLM的提示工程（Prompt Engineering）和跨模态对齐能力为野火管理提供了可解释决策支持。

野火烟雾数据集全景分析

本研究系统分类42个数据集，涵盖三种类型：

1. 多模态数据集

• •
  WildFireCan（2025）：包含4.7万标注+46万未标注图像-文本对，支持12类细粒度分类
• •
  Fire360（2025）：228个360度消防训练视频，配备视觉问答（VQA）注释
• •
  DisasterM3（2025）：2.69万卫星图像-文本对，由GPT生成多灾害描述

2. 纯视觉数据集

• •
  FLAME系列（FLAME1-3）：提供无人机采集的RGB-热成像配对数据，FLAME3包含1.4万张图像且具备像素级标注
• •
  BoWFire（2015）：基于颜色-纹理特征，包含226张精心标注的火焰图像
• •
  FireSense（2017）：49个室内外火灾视频，支持动态烟雾分析

3. 非视觉传感器数据集

• •
  声学数据集：ForestFireSound（2024）含1.3万条火灾音频
• •
  化学传感器数据集：SmokeDet（2022）包含6万条烟雾传感器读数
• •
  气象数据集：IberFire（2025）提供68亿条西班牙-葡萄牙气象数据

基准测试与性能分析

通过ResNet-50、DeepLab-V3、YOLOv8等模型系统评估：

分类任务性能：

• •
  FLAME1自测试准确率达98.49%，但跨数据集测试（如BoWFire）降至43.95%
• •
  D-Fire数据集在mAP(50)指标上表现最佳（50.44%），但泛化能力有限

检测任务对比：

• •
  监督模型YOLOv8在FLAME3上达到96.4% mAP
• •
  零样本模型Grounding-DINO无需训练即达到98.08% mAP，展现强大泛化能力

VLM跨模态性能：

CLIP模型在WildfireDet数据集实现100%准确率，但在复杂场景（如FLAME1）降至72.37%，提示工程可显著改善性能。

机遇与挑战

机遇：

• •
  多模态融合提升检测精度（如热成像+RGB）
• •
  生成式AI增强数据稀缺场景（如合成数据生成）
• •
  边缘计算部署实现实时预警

挑战：

• •
  模型幻觉（Hallucination）导致误报
• •
  域适应（Domain Adaptation）困难
• •
  计算资源限制实地部署
• •
  标注数据稀缺与质量不均

未来方向

1. 1.
   开发统一基准平台标准化评估协议
2. 2.
   构建大规模多模态野火数据集（含雷达、LiDAR等）
3. 3.
   探索轻量化模型（如MobileNet、TinyBERT）用于边缘设备
4. 4.
   加强人类-AI协作机制设计
5. 5.
   发展因果推理模型提升决策可解释性

通过跨学科合作与技术创新，AI驱动的新型野火管理系统将显著提升全球灾害响应能力。