YOLOFlame：在城区环境中对车辆火灾和烟雾检测技术进行基准测试

《Alexandria Engineering Journal》：YOLOFlame: Benchmarking vehicle fire and smoke detection in urban environments

　　Naqqash Dilshad | Sana Parez | Samee Ullah Khan | Mustaqeem Khan | Tahir Mahmood | Norah Saleh Alghamdi | JaeSeung Song
韩国首尔世宗大学计算机科学与工程系，05006

**摘要**
火灾是极具破坏性的事件，会导致人员伤亡、环境和经济紊乱、财产损失，甚至加剧气候变化。在火灾或烟雾出现的早期阶段将其检测出来对于减轻这些损失及其相关影响至关重要。视觉传感器作为火灾和烟雾检测的研究领域展现出巨大潜力，吸引了计算机视觉（CV）领域专家的关注。最初，火灾和烟雾检测依赖于低级的颜色特征；然而，更高效的深度学习（DL）模型已经取代了这些方法，实现了更高的准确率。这些模型仍然面临挑战，例如较高的误报率（FAR），因为它们将火灾和烟雾检测视为一个分类任务，而没有考虑火灾和烟雾在特定场景中的定位问题。此外，它们的高时间复杂性和模型大小限制了实际应用。为了解决这一挑战，我们介绍了一种轻量级的检测方法YOLOFlame，该方法基于YOLOv8纳米架构，并集成了一种注意力机制。所提出的方法在显著降低模型复杂性和大小的同时，仍能取得有竞争力的性能。它能够有效检测图像中的小规模和大规模火灾及烟雾区域。此外，我们还提供了一个手动标注的中型数据集Inferno，其中包含六个不同的类别。YOLOFlame在新创建的Inferno数据集上取得了0.66的mAP值，同时具有更少的可训练参数和更快的训练时间。

**1. 引言**
从传统区域向城市地区的转变是一个快速发展的研究领域[1]。智慧城市带来了许多好处，如经济增长、可持续性、更好的灾害管理、提高公共安全以及改善生活质量[2]。研究人员专注于利用物联网（IoT）将日常生活中的各种设备、传感器和执行器连接起来，从而实现随时随地自动控制和环境监测[3]。城市包含多种景观，如开放空间、建筑物和农田，在这些地方，火灾会对人类生命、财产和野生动物构成严重威胁，并导致全球变暖[4]、[5]、[6]。

2018年1月23日，韩国密阳世宗医院发生了一起悲剧性火灾，导致192人死亡、121人轻伤和7人重伤[7]、[8]。韩国国家消防局报告称，2019年全国共发生了40,030起火灾，造成2200多人受伤和284人死亡[9]。2020年，乌山镇又发生了一场致命火灾，造成50多人死亡[9]。在美国，2018年发生了121,500起车辆火灾，造成大约1500人受伤、560人死亡和19亿美元的财产损失[10]。车辆火灾占当年所有火灾的16%和民用火灾损失的15%。此外，Baldia的一家工厂因电气短路起火，造成250多人死亡[11]。2012年至2016年间，美国每年平均发生44,880起家庭火灾，导致大约440人死亡、1250人受伤和13亿美元的损失[12]。

火灾和烟雾检测在公共安全方面得到了广泛研究，之前的研究主要集中在基于传感器和基于视觉的方法上。一些研究还探讨了神经网络和软计算技术在热力和火灾建模中的应用，主要作为系统分析的数值工具，而非基于视觉的识别和检测[13]、[14]。早期检测火灾和烟雾对于减少损害和挽救生命至关重要[15]。标量传感器和视觉传感器常用于此目的。标量传感器包括火焰传感器、气体传感器和温度传感器，成本效益高且易于部署[16]。然而，它们存在局限性，如覆盖范围有限、需要近距离激活、误报率高，并且主要适用于室内环境。此外，由于这些传感器通常安装在天花板上，它们往往发现火灾较晚，从而延迟了早期预警，降低了其有效性。

基于视觉的火灾和烟雾检测作为一种替代传统标量传感器的有效方法应运而生，尤其是在深度学习和目标检测框架的采用下。已经开发了基于视觉传感器的方法[17]、[18]、[19]。这些传感器补充了现有的监控摄像头，提供了成本效益更高的解决方案，响应时间更快、覆盖范围更广、人为干预更少，误报率更低[20]。基于视觉特征的火灾和烟雾检测与标量传感器相比显示出了有希望的结果[21]。然而，基于视觉的方法也存在局限性，这将在下一节中讨论。尽管如此，它们仍然是早期火灾检测和提高安全性的宝贵工具。此外，本研究背后的动机和主要贡献也将进行概述。现有工作的主要局限性如下：
• 大多数基于深度学习的火灾和烟雾检测方法侧重于分类，忽视了重要的区域提案步骤，遗漏了图像中的空间细节。
• 这些方法通常将整个图像视为一个类别，忽略了火灾和烟雾通常占据小范围、局部化的区域，这可能会延迟检测和警报。
• 许多最先进的模型计算密集度很高，限制了它们在资源有限环境中的使用。
• 具有详细火灾和烟雾对象检测注释的公共数据集很少；现有数据集通常缺乏对象级标签，且仅覆盖一个类别。
• 这些问题降低了检测精度，并通过将火灾或烟雾与视觉上相似的对象混淆而增加了误报率。

**动机和主要贡献**：本研究通过开发一种新颖高效的模型来解决上述局限性，该模型能够准确检测城市环境中的火灾和烟雾，包括真实世界中的对象。此外，我们旨在创建一个公开可用的数据集，其中包含火灾和烟雾的兴趣区域（RoI）注释。这个Inferno数据集可以通过改进其他研究人员的检测方法和推进基于视觉的火灾和烟雾检测研究来提供支持。我们研究的主要贡献如下：
• 基于标量传感器和标准视觉传感器的传统火灾和烟雾检测方法存在明显局限性，缺乏对场景中火灾的定位能力。我们提出了一种高效的目标检测框架YOLOFlame，专为城市环境中运行的监控系统设计。所提出的YOLOFlame基于YOLOv8n架构，并集成了注意力机制。我们的方法提高了火灾和烟雾的早期识别能力，同时显著降低了误报率（FAR）。
• 为火灾和烟雾数据集添加注释需要人工努力，由于缺乏真实世界的标注数据，这种情况较为罕见。为了解决这个问题，我们构建了一个具有完整注释的中型数据集，包括六个类别：自行车火灾、自行车烟雾、公交车火灾、公交车烟雾、汽车火灾和汽车烟雾。我们计划将其公开发布以供未来研究使用。Inferno数据集对火灾灾难研究做出了宝贵贡献。
• 我们进行了一系列广泛的实验，重新实现了八个目标检测模型，包括所提出的YOLOFlame和一些具有竞争力的基线模型。所有模型均使用手动标注的Inferno数据集进行训练和评估。结果实证了YOLOFlame的有效性及其相对于最先进方法的明显优势。进一步的定性分析进一步强调了其卓越的性能。

**2. 相关工作**
基于视觉的火灾检测受到了广泛关注，早期研究侧重于依赖手工特征的传统机器学习（CML）技术。例如，[22]通过分析几何属性和烟雾颜色来分类火灾像素，而其他研究则使用平均强度进行非火灾检测。边缘检测器、傅里叶变换以及RGB、YUV和YCbCr等颜色模型也被用于识别火灾区域[23]、[24]、[25]。此外，还提出了基于小波分析和信息论的特征选择方法来减少计算开销[26]、[27]、[28]。尽管付出了这些努力，CML技术通常需要复杂的手动调整，并且由于其对于类似火灾的颜色敏感而容易产生误报率。这凸显了需要更可靠和适应性更强的火灾检测方法的需求。

深度学习模型，特别是卷积神经网络（CNN），通过自动化特征提取在火灾检测中表现出强大性能，超越了CML方法。例如，[29]使用带有自定义“swish”激活函数的MobileNet架构提高了效率。[19]、[30]提出了参数更少、性能更好的轻量级火灾检测模型，并附带了一个新的野火数据集。[31]中，ResNet50在火灾分类任务中优于VGG16。[32]引入了一个紧凑的九层CNN，[33]提出了一个针对火灾和烟雾检测定制的更深层次的14层模型。E-FireNet[34]在VGG16的基础上进行了架构改进，实现了实时检测，并在SV-Fire数据集上进行了评估，取得了高准确率并降低了计算成本。

除了独立的深度学习和CML技术外，还提出了几种混合模型用于火灾检测。例如，[35]结合了局部二值模式和AdaBoost进行兴趣区域（RoI）提取，随后使用六层CNN。CNN还与支持向量机（SVM）[36]、遗传算法[37]和AdaBoost-MLP管道[38]相结合。一些方法整合了运动线索、形状分析或显著性图来增强基于CNN的检测[39]、[40]、[41]。[42]探索了时空融合以提高精度。[43]提出了一种使用通道注意力（CA）和空间注意力（SA）以及元启发式算法的紧凑CNN以实现实时推理。[44]提出了使用EfficientNet和自动编码器的SE-EFFNet进行边缘火灾检测。然而，大多数模型忽略了区域提案，而区域提案对于快速检测小规模火灾至关重要。[45]提出了EffNet，这是一种通过精确定位烟雾和增强特征来改进视频烟雾检测的深度学习模型，在复杂场景中表现良好。后来，[46]引入了QuasiVSD，它通过分析帧间的时间变化来检测烟雾，提供了比单帧方法更好的实时性能。[47]开发了一种基于补丁的小波字典学习技术，捕捉多尺度烟雾特征，在森林火灾视频中实现了高准确率和更低的误报率。

已经探索了多种深度学习方法用于火灾检测，包括R-CNN、Faster R-CNN和YOLO系列。这些模型不仅能分类还能定位图像中的火灾区域。例如，[48]、[49]使用Faster R-CNN检测火灾区域，而轻量级模型如Tiny-YOLOv3[50]和ELASTIC-YOLOv3[51]则针对夜间高效火灾检测进行了优化。基于YOLOv2[52]的实时系统和改进的YOLOv4模型[53]被开发出来以提高速度和准确性。[54]中引入了一个带有注意力机制和无锚点检测的修改版YOLOv3模型以优化性能。[23]使用Detectron2进行了森林火灾检测，取得了有竞争力的结果。[55]中，一个结合了混合高斯算法的改良版YOLO模型成功用于工业环境中的烟雾检测。总体而言，CNN和深度学习方法继续支持广泛的视觉任务，包括火灾检测和更广泛的应用，如活动或对象识别[56]。使用预训练CNN的迁移学习通常优于传统方法，但需要较高的计算资源，限制了其在无人机等低功耗设备上的应用。在隐私敏感的情况下，更倾向于使用本地处理[57]。许多模型还忽略了影响实际性能的环境因素。

基于标量传感器（如烟雾、火焰或温度传感器）的传统火灾预警系统（TFWSs）已经得到了广泛研究[58]、[59]。然而，这些系统对火灾规模、位置和强度的洞察有限，通常需要人工干预。基于视觉传感器的方法出现了，以解决这些局限性[60]。深度学习和基于视觉的系统在自动化火灾检测和监控中发挥着重要作用[61]、[62]，提供了更快的响应、减少人力参与、成本效益和更广的覆盖范围等优点。尽管如此，传统技术在阴影或光线不良等变化条件下难以有效提取特征，从而限制了早期检测。本研究探索了基于CNN的模型以改进监控视频中的火灾检测[31]。

**3. 方法论**
借鉴现有研究的成果，我们利用YOLOFlame模型的能力使用所提出的Inferno数据集进行火灾检测。该尝试的重点是YOLOFlame有效定位图像中火灾区域的能力。在成功定位后，执行了由类别标签指导的分类过程。所提出数据集和框架的详细信息在图1、图2、图3中展示，并在后续部分进行了详细解释。

**3.1. 数据集收集**
在城市发展的背景下，收集用于火灾和烟雾检测的强大图像数据集至关重要。随着城市演变成智能系统，对可靠的安全机制的需求变得越来越关键。为了满足这一需求，我们整理了一个多样化的数据集Inferno，包括六个类别：自行车火灾、自行车烟雾、公交车火灾、公交车烟雾、汽车火灾和汽车烟雾。该数据集反映了城市环境的异质性，并捕捉了广泛的现实世界条件，包括周围环境、照明和能见度的变化。它包含了总共1097张图片，类别分布不平衡：自行车火灾180张，自行车烟雾30张，公交车火灾256张，公交车烟雾225张，汽车火灾234张，汽车烟雾172张。图1展示了这种分布情况。这些数据集来源于各种在线平台，反映了城市场景的复杂性和不可预测性。这一收集工作为将基于人工智能的系统集成到下一代火灾和烟雾检测模型中奠定了基础。

新提出的Inferno数据集采用了YOLO格式进行标注。每个火灾或烟雾的目标实例都用其类别和相应的边界框坐标在.txt文件中标注。这些注释使得对象检测模型能够准确地定位和分类火灾和烟雾实例。最终，这样的模型通过实现快速可靠的事件检测，支持提高智慧城市的安全性和响应能力。随着城市环境变得越来越复杂，结构良好的数据集与先进的检测框架的结合对于构建有弹性和安全的基础设施至关重要。图2展示了Inferno的一些样本。

下载：下载高分辨率图片（421KB）
下载：下载全尺寸图片

图1. 新提出的Inferno数据集中每个类别的实例直方图。总数用蓝色突出显示。从直方图中可以看出，所提出的Inferno数据集高度不平衡，这导致了更高的复杂性。

下载：下载高分辨率图片（440KB）
下载：下载全尺寸图片

图2. 新提出的Inferno数据集中不同的火灾和烟雾实例，第一和第三列显示火灾样本，而第二和第四行显示烟雾样本。第一行展示了自行车类别的样本，第二和第三行分别代表公交车和汽车。

下载：下载高分辨率图片（1MB）
下载：下载全尺寸图片

图3. 用于城市环境中有效火灾检测的通用框架

3.2. 提出的火灾和烟雾检测模型
对象检测模型可以识别并定位图像中的特定感兴趣区域，并根据分配的类别标签对它们进行分类。这些模型已经展示了高性能，使它们适用于各种计算机视觉任务。例如，在为特定领域选择对象检测模型时，使用有限的计算资源准确确定所需对象的位置并进行高效分类是一个挑战。因此，已经进行了大量研究来开发基于YOLO框架的对象识别模型，这些模型表现出了出色的性能。YOLO的初始版本于2015年发布[63]，将对象检测任务视为一个回归问题而不是分类问题。这个特定模型在一个单元神经网络中包含了所有必要的对象检测任务，不仅实现了高性能，还具有实时推理能力。此外，基于YOLO的对象检测模型具有出色的泛化能力，可以有效地训练以检测各种类型的对象。

最近，YOLO架构经历了多次升级和修改，旨在提高性能并减小模型大小以实现高效的对象检测。YOLOv1 [63]、YOLOv2 [64] 和 YOLOv3 [65] 被开发出来。其中，YOLOv3在效率和速度方面取得了显著进步[66]。YOLOv4 [66] 在MS-COCO数据集上达到了平均43.5%的精确度，同时在Tesla V100上保持了每秒65帧（FPS）的高处理速度。2020年，[67] 提出了YOLOv5，其性能和速度都有了显著提升。YOLOv5提供了四个不同的版本（YOLOv5x、YOLOv5l、YOLOv5m 和 YOLOv5s），分别基于深度和特征图宽度。这些模型在MS-COCO数据集上进行了广泛评估，并表现出优异的性能。YOLOv5s在推理速度方面最快，而YOLOv5x实现了最高的对象检测准确率。随后，[68] 提出了YOLOv6框架以实现工业应用中的高效对象检测。2022年，同一作者[69] 又提出了YOLOv7和YOLOR。所有这些模型都具有相似的网络结构，包括输入层、主干网络、颈部网络和预测层。与之前的YOLO版本相比，YOLOv8提供了更高的检测准确率、减少的计算操作以及更小的模型尺寸，使其适合在资源受限的设备上部署。鉴于YOLOv8的卓越检测性能和实时推理能力，本研究重点研究了基于YOLOv8n（纳米）架构并结合注意力模块的YOLOFlame，专门用于城市环境中的高效和有效的火灾和烟雾检测。

3.3. 网络架构
Ultralytics公司也开发了YOLOv5，并于2023年1月推出了YOLOv8 [70]。新版本有五种尺寸：YOLOv8n、YOLOv8s（小型）、YOLOv8m（中型）、YOLOv8l（大型）和YOLOv8x（特大型）。YOLOv8可以执行许多不同的任务，如对象检测、分割、姿态估计、跟踪和分类。YOLOv8的功能类似于YOLOv5，但在CSP层有一些变化，现在称为C2f模块。这个C2f模块（具有两个卷积的跨阶段部分瓶颈）将重要特征与额外信息结合在一起，使目标查找更加准确。YOLOv8不需要特定的模式来识别目标。它有一个单独的头部，可以独立判断是否有目标、目标是什么以及目标在哪里。这使得它在执行任务时表现更好。在YOLOv8的最后一部分，使用了Sigmoid函数来评估盒子内是否存在目标。它还使用softmax函数来理解盒子内对象的概率。

YOLOv8使用了一些方法来确保其正确运行，例如CIoU [71] 和 DFL [72] 损失函数，以确定盒子是否大小合适，以及一种称为二元交叉熵的方法来确定目标。这些方法提高了它们找到对象的能力，尤其是在对象较小时。YOLOv8还有一个用于确定图片部分的模型。它使用一个特殊的系统来观察图片，然后猜测图片中的不同部分有什么。在用多个测试样本测试YOLOv8时，其性能优于之前的最先进模型，在一个测试中（MSCOCO数据集测试-dev2017），当输入图像为640 × 640像素时，置信度得分为53.9%。YOLOv8在相同大小的图像上的表现优于YOLOv5，得分为50.7%。YOLOv8也很快，推荐的测试设置下速度为每秒280张图片。

YOLOv8的架构是YOLO对象检测系列的最新进展，包括几个关键组件。首先，主干网络组件涉及一系列卷积层（CL），从输入图像中提取相关特征。在YOLOv8中，主干网络采用了New CSP-Darknet53结构，这是对之前Darknet架构的修改。其次，颈部网络作为主干网络和头部网络之间的中间层。YOLOv8在其颈部网络中整合了空间金字塔池化融合（SPPF）和New CSP-PAN结构。头部部分负责生成最终输出。为了实现这一角色，YOLOv8使用了YOLOv3头部。模型架构包括一个处理不同尺度和分辨率特征的卷积层。上采样层的加入提高了特征图的分辨率。YOLOv8的一个独特属性是在网络头部使用了自注意力机制。这种机制使模型能够选择性地关注图像的不同区域，从而根据任务的相关性调整不同特征的重要性。为了处理图像中不同的对象尺寸和尺度，YOLOv8采用了特征金字塔网络，实现了多尺度对象检测。为了简化不同数据集之间的采用和迁移学习，YOLOv8提供了预训练模型。最近的研究强调了YOLOv8n因其提高的准确性和快速推理能力而越来越受到关注，这促进了各种轻量级对象检测策略[73][74]的发展。由于YOLOv8n的高效架构，我们将其作为所提出的YOLOFlame的主干特征提取器。

下载：下载高分辨率图片（460KB）
下载：下载全尺寸图片

图4. 所使用的注意力模块的内部架构，包含CA和SA机制

3.4. 注意力机制
结合注意力机制的CNN模型由于高帧相似性[75]而在视频分析中表现出强大的性能。然而，当应用于多样化图像数据时，如CA和SA这样的注意力模块通常会产生有限的结果。在基于图像的火灾检测中，一些研究仅将CA模块整合到CNN中[18],[20]，这在简单环境中效果很好。然而，在复杂场景中，例如Inferno数据集中的场景，这种方法是不够的。为了解决这个问题，YOLOFlame整合了CA和SA，形成了一个统一的火灾注意力模块，通过关注图像中最相关的区域来改进火灾检测和定位。统一的CA和SA机制被嵌入到网络中，以在分层特征提取过程中加强特征表示。

受到[76]中方法的启发，我们采用了结合CA和SA模块的注意力机制，每个模块都为火灾和烟雾定位设计了不同的角色。注意力模块的结构如图4所示。其核心设计原则是优先考虑前景和相关特征，同时抑制背景噪声和冗余信息。遵循[76]中的基础策略，我们适应了火灾和烟雾特定的场景。该模块包括两个注意力块：CA和SA。在CA中，每个全连接层提取高级别的类别特定语义特征，并以保留通道间相互信息的方式对其进行编码。这种表示通过分析通道间关系增强了提取特征的语义一致性和相关性。为了提取特定内容的信息，从广泛的数据集中提取特征，以强调与理解场景最相关的方面。SA模块通常被称为丰富关系模块，有效地从多样化的来源捕获同质的上下文信息。这提高了模型将广泛上下文线索编码为原始特征的能力，从而改善了整体特征表示。我们通过为每个模块分配不同的功能来调整标准注意力框架。CA模块通过全局平均池化（GAP）处理输入数据，然后通过三个密集层提取通道信息。同样，SA模块使用卷积层（CL）来关注最具信息量的空间区域。提供了完整的注意力过程的数学公式，架构设计如图4所示。给定一个输入激活图I∈Ri×j×k，其中i和j表示空间维度，k表示通道数量，生成一个三维空间中的精细注意力图I′。最终特征图I′的计算如下：
(1) I′=I+I×M(I)

提出的方法在一个统一框架中使用了两种注意力机制，其中跳跃学习策略与注意力机制相结合，促进了梯度流动。在方程(1)中，进行了逐元素乘法。为了计算最终注意力图M(I)，我们首先计算CA Mc(I)∈Rk和SA Ms(I)∈Ri×j，如方程(2)所定义。下标c和s分别表示通道和空间机制。
(2) M(I)=δ(Mc(I)+Ms(I))

该框架中使用的激活函数是Sigmoid函数，用σ表示。为了整合这些特征，注意力输出被调整为Ri×j×k的大小。每个通道包含捕获通道间关系的代表性特征。为了生成通道向量Ic∈Rk，对特征图进行了池化操作。随后，多层感知器（MLP）处理这个向量以提取全局通道信息。SA输出通过批量归一化（BN）进行了调整和缩放。最后，如方程(3)所描述，计算CA。
(3) Mc(I)=BNorm(Ic(AP(I)))=BNorm(r1(r0P(I)+k0+k1))

术语k0和k1分别表示单通道和全通道信息。同时，r0和r1代表用于通过降采样策略计算CA的通道级缩放因子。(4)Ms(I)=BNorm(C3×3(C1×1(I)))。在SA模块中，使用空间特征图来识别图像中的显著区域。有效检测这些区域需要具有足够大感受野的滤波器。为了实现这一点，采用了一系列1×1和3×3的CLs来捕获上下文空间信息，遵循CA模块中使用的相同降采样策略。最后，应用BN来细化和调整空间注意力图的大小，如方程(4)所定义。表1. 对各种最先进模型在新提出的Inferno数据集上展示的mAP50进行了定量分析。在这些模型中，以高亮显示的模型在参数数量有限的情况下表现最佳。ModelBike fireBike smokeBus fireBus smokeCar fireCar smoke平均值 ↑YOLOv8n0.8540.8630.7450.5450.2990.520.638YOLOv8s0.910.9130.7230.5190.2470.460.63YOLOv8m0.8880.830.7210.5740.2890.5080.635YOLOv8l0.9210.830.7380.5370.3130.5850.654YOLOv70.8830.9130.7130.5660.300.470.641YOLOv7 Tiny0.4730.1520.3540.1930.2170.1080.25YOLOv7 W60.9070.6930.7230.6260.3520.6280.655表2. 对各种最先进模型仅针对火灾类别的mAP50进行了定量分析。在这些模型中，以高亮显示的模型在参数数量有限的情况下表现最佳。ModelBike fireBus fireCar fire平均值 ↑YOLOv8n0.8430.7330.310.629YOLOv8s0.8220.7070.1960.575YOLOv8m0.8890.6540.3260.623YOLOv8l0.9140.7180.2690.634YOLOv70.8680.7620.3280.653YOLOv7 Tiny0.4170.1560.1960.256YOLOv7 W60.6440.4590.3560.486表3. 对各种最先进模型仅针对烟雾类别的mAP50进行了定量分析。在这些模型中，以高亮显示的模型在参数数量有限的情况下表现最佳。ModelBike smokeBus smokeCar smoke平均值 ↑YOLOv8n0.6720.5090.4580.546YOLOv8s0.9130.4120.4810.602YOLOv8m0.6850.4410.4820.536YOLOv8l0.7550.5170.470.581YOLOv70.02890.1410.2480.139YOLOv7 Tiny0.003520.01680.0220.0141YOLOv7 W60.03250.05840.1130.06814. 实验结果在本节中，简要概述了实验设置，涵盖了采用的训练方法和评估指标的详细信息。随后，我们使用最先进的方法对模型进行了全面的定量和定性分析。最后，我们进行了时间复杂性评估，以确定模型的效率。4.1. 系统配置实验在配备了12.7 GB RAM的Google Colab Pro上进行。对于训练和推理，使用了具有32 GB内存的NVIDIA V100 Tensor Core GPU。对象检测模型在150个周期内进行了训练，使用了标准的640 × 640像素输入大小。选择的批量大小为32，采用了具有0.937动量的随机梯度下降法，学习率为0.01，权重衰减为0.0005。这些超参数是基于实际实验和对象检测领域的先前研究选定的。执行了多次迭代来微调这些超参数，以与其他可能的设置相比提高性能。4.2. 评估指标为了验证YOLOFlame的有效性，我们使用了新提出的Inferno数据集进行了实验。开发Inferno数据集的主要目标是识别受火灾和烟雾影响的对象，这是火灾的初始阶段。我们还将数据集分为两个独立的数据集，一个用于火灾，另一个用于烟雾，以展示模型的效果和性能层次结构。对于YOLOFlame的性能评估，我们使用了常用的对象检测指标——平均精度（mAP）。平均精度（AP）和mAP的数学表达式如下：(5)AP=∫01p(r)dr,(6)mAP=1N∑i=1NAPi,这里，p(r)表示作为召回率r函数的精度，N表示对象类别的总数。下载：下载高分辨率图像（1MB）下载：下载全尺寸图像图5. 火灾检测的目标是识别火灾的存在。特定的不常见情况在火灾检测过程中会带来困难。我们使用最近引入的Inferno数据集对YOLOFlame进行了视觉评估。第一行展示了来自自行车类别的图像，而第二行和第三行分别代表了来自公交车和汽车类别的图像。在每张图像中，ROI通过模型的置信度分数用边界框突出显示。下载：下载高分辨率图像（1MB）下载：下载全尺寸图像图6. 并排评估YOLOFlame在新提出的Inferno数据集上的最佳（?）和最差（×）情况，强调了该模型在复杂场景中的局限性。4.3. 定量结果本节简要评估了所提出的YOLOFlame模型与几种最先进的对象检测方法相比的性能。使用新引入的Inferno数据集，我们评估了八个基于DL的模型，所有实验均在表1、表2、表3中描述的相同基准设置下进行。结果表明，基于轻量级YOLO架构并通过结构修改增强的YOLOFlame在保持紧凑架构和低计算成本的同时，始终实现了更高的mAP分数。表1列出了模型在各个类别和总体平均值上的详细比较。所提出的YOLOFlame实现了最高的平均精度（mAP）0.66，略微优于YOLOv8l（0.654），同时使用的参数数量显著较少。YOLOFlame还优于原始的YOLOv7（0.641）和YOLOv7-W6（0.655），并且显著超过了YOLOv7-tiny，后者由于深度有限和表示能力降低，其mAP仅为0.25。在YOLOv8家族中，明显的性能梯度是显而易见的。尽管YOLOv8l实现了与YOLOFlame相当的竞争性平均mAP，但它具有更大的模型尺寸和更慢的推理速度。YOLOv8n和YOLOv8m分别实现了中等的mAP分数0.638和0.635。虽然YOLOv8l具有高精度，但YOLOFlame在精度和计算效率之间取得了更理想的平衡，使其特别适合资源受限的环境，例如边缘设备。表2、表3报告了Inferno数据集的火灾和烟雾子集的性能。对于火灾特定类别，YOLOFlame实现了具有竞争力的平均mAP 0.648，接近表现最好的模型YOLOv7（0.653），同时超过了YOLOv8n（0.629）和YOLOv8m（0.623）。在烟雾类别评估中，YOLOFlame实现了平均mAP 0.569，超过了YOLOv7变体，并且优于YOLOv8n（0.546）和YOLOv8m（0.536），尽管其体积明显更小。这种在完整和特定类别基准测试中的持续性能突显了YOLOFlame在准确检测火灾和烟雾方面的可靠性。总体而言，所提出的YOLOFlame表现出强大的泛化能力、准确的检测性能和高计算效率，使其成为实时火灾和烟雾识别的实用且可扩展的解决方案。表4. 各种最先进模型在多个性能指标方面的时间复杂性分析。以高亮显示的模型表示在参数数量略高的情况下实现了最佳性能。模型参数（百万） ↓GFLOPs ↓模型大小（MB） ↓推理时间（毫秒） ↓训练时间（分钟：秒） ↓提前停止YOLOv8n3.28.16.21.994:51?YOLOv8s11.228.422.54.8114:54?YOLOv8m25.978.752.07.0124:59?YOLOv8l43.7164.887.611.7179:13×YOLOv736.9104.7136.72.0188:13×YOLOv7 tiny6.213.812.37.5119:10×YOLOv7 W670.04360140.221.5169:12×4.4. 定性结果为了补充定量结果，我们对YOLOFlame在模糊和视觉复杂条件下的性能进行了定性评估。图5显示了按对象类型分组的六个火灾和烟雾类别中的选定检测结果：自行车、公交车和汽车。所提出的YOLOFlame在各种场景中产生了准确的边界框和稳定的置信度分数，从开阔的街道到密集的城市环境。在自行车类别中，即使烟雾部分遮挡了对象或火灾出现在反射表面上，模型也能可靠地执行检测。尽管相机角度发生变化和光照不一致，检测结果仍然准确。公交车类别包括火焰蔓延严重或烟雾-火灾信号混合的具有挑战性的帧；在这里，YOLOFlame保持了空间准确性和类别级别的一致性。第三行包括相同类型的汽车相关示例。值得注意的是，模型很好地处理了重叠对象和背景杂物，同时捕获了局部火灾和扩散的烟雾，而没有混淆。这些结果突显了YOLOFlame在实时区分细微的火灾-烟雾转换和优先处理相关区域的能力。虽然有些特殊情况显示出误分类，如图6所示，但这里展示的检测结果反映了在变化和不受控制的条件下强大的泛化能力。图6提供了所提出的YOLOFlame在提出的Inferno数据集上的行为聚焦诊断视图。顶行展示了所有六个目标类别的成功检测。YOLOFlame以高置信度和清晰的边界框定位每个实例，即使在涉及烟雾、遮挡或背景杂乱的具有挑战性的场景中也是如此。第二行显示了失败的情况。在某些情况下，模型检测到了对象，但对其进行了错误标记，例如将自行车烟雾误标记为自行车火灾，或将汽车烟雾误标记为汽车火灾。在其他样本中，YOLOFlame错过了多个活跃的火灾区域或完全未能检测到目标。值得注意的是，在视觉密集的帧中，汽车火灾和公交车火灾案例显示出置信度下降，表明当前景线索较弱或背景纹理类似于火灾或烟雾时，泛化能力有限。在公交车火灾案例中，虽然公交车着火，但密集且广泛的烟雾主导了画面，导致模型将其分类为烟雾而不是火灾。对于公交车烟雾，输入图像显示一辆充满烟雾的公交车，但火灾区域很小；然而，YOLOFlame错误地将其标记为公交车火灾。在汽车火灾示例中，由于场景混乱，模型未能检测到火灾。对于汽车烟雾，模型被汽车下方的一个小橙色光线所迷惑，YOLOFlame将其错误地标记为汽车火灾。这些边缘案例有助于识别剩余的瓶颈。它们强调了数据不平衡和视觉重叠仍然会影响精度，为未来的模型调整和数据集增强提供了明确的方向。4.5. 时间复杂性在我们的可行性分析中，我们评估了多个因素，包括参数数量、GFLOPs、模型大小、推理时间和训练时间，以评估每个模型的实际部署。这项评估重点关注识别城市环境中火灾和烟雾检测最具计算效率的架构。详细结果呈现在表4中。以高亮显示的YOLOFlame在效率与复杂性方面的平衡度最高。它保持了328万的紧凑参数数量，并仅引入了8.29 GFLOPs的轻微计算开销。尽管有这种轻微的增加，模型的体积仍然很小，为6.35 MB，推理速度为2.0 ms。它在95分钟49秒内完成了训练，并受益于提前停止以防止过拟合。除了轻量级设计外，YOLOFlame还表现出比YOLOv8n基线更好的准确性。所提出的YOLOFlame在所有类别中实现了0.66的平均检测精度，优于YOLOv8n的0.638。这包括在火灾和烟雾类别中的一致性改进，例如自行车火灾提高了2.1%，自行车烟雾提高了2.6%，汽车火灾提高了2.7%。这些结果表明，YOLOFlame通过注意力机制提高了性能，同时保留了YOLOv8n的轻量级特性。其他模型，包括YOLOv8s、YOLOv8m和YOLOv8l，在所有评估指标上表现出显著更高的复杂性。与YOLOv7变体的比较进一步强调了YOLOFlame引入的效率改进。这项分析支持将所提出的YOLOFlame作为实时资源受限应用中的高度可行的解决方案。总体而言，所提出的YOLOFlame在准确性、效率和实际部署性之间取得了良好的平衡。它的注意力增强设计提高了对象级别的定位并降低了FAR，同时保留了YOLOv8n的轻量级特性，使其适用于实时城市监控。尽管如此，该模型仍然依赖于视觉线索，在视觉上模糊的场景中可能遇到困难，例如烟雾占主导地位、火灾特征弱或背景纹理类似于火灾的情况。这些限制在少数定性失败案例中被观察到，并且主要受到数据不平衡和火灾与烟雾图案视觉重叠的影响。尽管存在这些挑战，所提出的方法仍显示出明显优势，并为未来的数据集扩展和注意力机制的进一步优化提供了坚实的基础。5. 结论近年来，发展良好且互联互通的城市概念引起了广泛关注，并成为了一个具有挑战性的研究领域。由于存在农田、建筑物、森林和开放空间等各种元素，城市容易发生火灾事件，这可能对人类和其他生物构成威胁并造成重大损害。为了减轻这些风险，研究人员开发了使用CML和DL方法进行火灾早期检测的机制，以减少火灾灾难造成的损失。然而，这些方法在准确检测早期火灾、保持模型复杂度降低和最小化FAR方面经常面临局限性。这些限制限制了它们对火灾事件的及时响应和进一步减损的能力。为了应对这些挑战，本研究介绍了YOLOFlame检测模型，该模型专为准确高效的火灾和烟雾检测而设计，旨在最小化总体损害。与其它最先进的模型相比，所提出的YOLOFlame在参数数量受限的情况下仍能有效提升检测精度。与YOLOv8l相比，YOLOFlame的mAP值为0.66，与YOLOv8l相当。此外，它在推理速度上也有了显著提升，最快可达2.0毫秒，远超YOLOv8l及其其他变体。这种性能和推理速度的提升使得YOLOFlame非常适合实际应用场景，从而实现了高效的火灾和烟雾检测。

**CRediT作者贡献声明：**
Naqqash Dilshad：撰写原稿、审稿与编辑、软件开发、方法论设计、数据整理、概念构思。
Sana Parez：撰写原稿、审稿与编辑、软件开发、方法论设计、数据整理、概念构思。
Samee Ullah Khan：审稿与编辑、概念构思。
Mustaqeem Khan：审稿与编辑、验证工作。
Tahir Mahmood：审稿与编辑、研究工作。
Norah Saleh Alghamdi：审稿与编辑、验证工作、项目监督、资金筹集。
JaeSeung Song：撰写与编辑工作、验证与监督、资源管理、项目协调、形式化分析、资金筹集。