《Fire》：YOLO-FSD: A Deployment-Validation-Oriented Lightweight Fire Smoke Detection Network for Resource-Constrained ZYNQ7020 FPGA Edge Platforms
编辑推荐：
森林火灾场景中的早期火焰和烟雾通常目标较小、纹理较弱，且容易与复杂背景混淆，而许多基于YOLO的精确检测器难以部署在资源受限的FPGA设备上。研究人员提出YOLO-FSD，一种从YOLOv4-tiny衍生而来的面向FPGA部署的轻量级检测器。它集成了倒残差和深
森林火灾场景中的早期火焰和烟雾通常目标较小、纹理较弱，且容易与复杂背景混淆，而许多基于YOLO的精确检测器难以部署在资源受限的FPGA设备上。研究人员提出YOLO-FSD，一种从YOLOv4-tiny衍生而来的面向FPGA部署的轻量级检测器。它集成了倒残差和深度可分离结构、位于深层feat2特征处的轻量级语义增强（Lightweight Semantic Enhancement, LSE）块、一个轻量级P4检测头和一个浅层细节补偿分支。在D-Fire和New Fire and Smoke数据集的组合测试集上，YOLO-FSD在交并比阈值为0.5时达到了69.36%的平均精度均值（mean Average Precision at Intersection-over-Union threshold 0.5, mAP50），参数量为3.951 M，乘累加操作数（Multiply-Accumulate Operations, MACs）为1.520 G。与YOLOv4-tiny相比，mAP50提升了2.76个百分点，而参数量和MACs分别降低了32.76%和55.53%。为了部署验证，研究人员在批量归一化（Batch Normalization, BN）融合和16位整数（16-bit Integer, INT16）参数转换之后，在Xilinx Zynq-7020 FPGA上进行了定点前向推理，并以软件侧参数量化敏感性分析作为中间检查。FPGA原始输出评估达到了69.14%的mAP50，仅比PyTorch 32位浮点（32-bit Floating-Point, FP32）模型低0.22个百分点，证明了FPGA侧前向推理的可行性。
森林火灾对森林资源和生态环境构成严重威胁，基于图像的火焰和烟雾检测是早期预警的重要手段。然而，火灾早期火焰区域通常较小，烟雾边界弥散、纹理微弱，容易与云、雾、阴影等复杂背景混淆，导致漏检和误报。传统方法依赖人工巡逻和传感器，在开阔森林区域受覆盖范围和响应延迟限制。深度学习中的YOLO系列因单阶段端到端设计在精度和效率间取得较好平衡，但许多高精度模型结构复杂、参数量和计算量大，难以部署在资源受限的FPGA平台（如ZYNQ7020）上。因此，研究人员提出了一种面向部署验证的轻量级火焰烟雾检测网络YOLO-FSD，相关论文发表在《Fire》。
为开展研究，研究人员从公开的D-Fire数据集（CC0 1.0许可）和New Fire and Smoke数据集（v2公开版本，CC BY 4.0许可）构建了合并数据集，包含17855张训练图像、2795张验证图像和4810张测试图像。模型以YOLOv4-tiny为基线，将其骨干替换为倒残差和深度可分离结构（Inverted Residual and Depthwise Separable, IRDS），在深层feat2特征处引入轻量级语义增强（LSE）块，并采用轻量级P4检测头（P4-DSConv）和浅层细节补偿分支。部署验证流程包括BN融合、INT16参数导出，以及基于自定义HLS卷积IP的ZYNQ7020 FPGA前向推理。
**跨划分相似性敏感性分析**
研究人员构建了更保守的重叠过滤子集（2891张图像），该子集上IRDS-YOLOv4-tiny基线的mAP50为60.80%，YOLO-FSD为62.24%，相对提升1.44个百分点，表明性能提升并未主要依赖跨划分场景相似性。
**与典型YOLO模型的检测性能对比**
在相同训练和评估协议下，YOLO-FSD的mAP50为69.36%，比原始YOLOv4-tiny高2.76个百分点，参数量减少32.76%，MACs减少55.53%。虽然YOLOv5s、YOLOv8n等模型的软件端mAP50更高，但其复杂结构和三尺度预测在FPGA上可能需要更多缓冲和调度资源。
**消融实验与复杂度比较**
累计消融显示，IRDS骨干将mAP50从66.60%提升至67.75%，同时降低参数量和MACs；引入LSE后mAP50、召回率和F1分别提升0.93、2.28和0.65个百分点；加入P4-DSConv后，参数量和MACs分别降低16.76%和26.40%，mAP50基本不变；最终添加细节补偿分支后，YOLO-FSD的mAP50达到69.36%，召回率为70.15%，F1为67.19%。
**引入LSE后的类别和尺度变化**
LSE对Fire和Smoke均有正向作用，Fire的AP50和召回率分别提升0.95和3.35个百分点，Smoke分别提升0.90和1.21个百分点；尺度方面，Small目标的AP50提升0.80个百分点，Medium和Large目标的提升较小。
**YOLO-FSD的类别和尺度检测性能**
与IRDS基线相比，YOLO-FSD在Smoke类AP50提升1.53个百分点，Fire类AP50提升1.69个百分点，召回率提升3.98个百分点；尺度方面，Small目标的mAP50提升2.63个百分点，召回率提升3.86个百分点，提升幅度最大。
**BN融合、INT16参数量化敏感性和FPGA输出分析**
从PyTorch FP32模型、BN融合FP32模型、软件INT16参数量化评估到FPGA原始输出评估，mAP50分别为69.36%、69.33%、69.32%和69.14%。FPGA端仅比PyTorch FP32低0.22个百分点，类间变化也较小。
**资源利用率、延迟和功耗**
YOLO-FSD在ZYNQ7020上使用29719个LUT、35894个FF、76个BRAM和179个DSP，利用率分别为55.86%、33.73%、54.29%和81.36%。前向推理平均延迟为1712.61 ms，对应0.584 FPS；Vivado功率估计为2.603 W，能耗估计为4.458 J/帧。
**鲁棒性、失败案例和部署边界**
鲁棒性测试中，亮度降低和薄雾/雾条件下mAP50分别仅下降0.11和0.34个百分点；高斯模糊和高斯噪声使mAP50降至58.38%和53.24%；局部遮挡使mAP50降至39.53%。1080p分块测试的可行性有限，提示当前部署配置不适合高分辨率实时处理。
**讨论与结论**
讨论部分指出，本文的主要贡献是部署导向的模型重设计，而非软件端最先进精度或实时FPGA吞吐率。近年来一些nano-scale YOLO模型在软件端mAP50上高于YOLO-FSD，但由于未在同一ZYNQ7020自定义加速器上实现，不能得出硬件优越性结论。局限性包括：图像级划分可能引入乐观估计；累积消融不能完全隔离各组件贡献；软件INT16评估不是逐位精确的FPGA算术复现；FPGA延迟仅覆盖前向推理，解码和NMS在PC端完成；功耗为工具估计；鲁棒性测试为受控扰动；1080p实验仅8张图像。此外，与Xu等人在同一ZYNQ7020平台上的实现相比，当前加速器吞吐率较低，反映出通道级并行度、DSP利用率和数据调度方面的真实效率限制。结论部分原文翻译为：针对资源受限边缘设备上火焰和烟雾检测的部署验证挑战，该研究提出了YOLO-FSD，一种在Xilinx Zynq-7020 FPGA平台上评估的轻量级检测器。在合并的D-Fire和New Fire and Smoke语料库的测试子集上，YOLO-FSD达到了69.36%的mAP50，参数量为3.951 M，MACs为1.520 G。与YOLOv4-tiny相比，mAP50提升了2.76个百分点，参数量和MACs分别减少了32.76%和55.53%。结果支持YOLO-FSD组合设计作为精度-复杂度权衡：P4头轻量化大幅降低了高分辨率计算成本，浅层细节补偿帮助恢复了最终配置中的检测性能。最终模型相对于IRDS-YOLOv4-tiny基线改善了Fire和Small目标的AP50，但目前的消融结果并不意味着每个独立组件都能独立改善每个类别或尺度的指标。尽管该实现能够在资源受限的FPGA平台上完成网络前向推理和原始输出生成，但解码和NMS仍在板外进行。因此，报告的0.584 FPS代表FPGA前向推理吞吐率，而非完整的板载端到端检测吞吐率。未来的工作应优先考虑卷积并行度、片上缓冲区复用、PL/DDR数据流和数据移动调度，以及板载后处理；还应开展跨数据集评估和不同相机、环境条件下的独立现场视频验证；此外，应包括与最新nano-scale检测器的受控同板比较、更全面的定点误差表征和直接板级功耗测量。
