利用零样本视觉-语言模型以及任务感知对象检测器的引导进行视频火灾识别

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Video Fire Recognition Using Zero-Shot Vision-Language Models Guided by a Task-Aware Object Detector

火检测实时与检索系统需兼顾高召回率与低误报率。本文提出FIRE-TASTIC框架，通过融合任务导向的YOLOv8s目标检测器与预训练BLIP-2视觉语言模型，利用检测框的时空信息指导VLM查询，有效平衡两者性能。实验表明，在ONFIRE和自定义数据集上，FIRE-TASTIC的F-Score达94.29%，优于基线方法，且推理延迟仅为5.98秒，适用于实时场景与大规模数据检索。

　　火的检测在图像和视频中已成为近年来备受关注的研究领域，主要由于其应用的高重要性。随着技术的进步，许多可靠的实时检测器和高效的检索技术被开发出来，以处理由传感器网络收集的大量数据。尽管人工视觉方法的可靠性在过去几年有所提高，但仍然存在一些尚未解决的问题，尤其是在训练场景与实际场景不一致时，这些方法往往表现出较差的泛化能力。为了应对这一挑战，研究者们开始探索结合上下文信息的方法，特别是利用视觉语言模型（Vision-Language Models, VLMs）来理解并描述图像中的场景。本文提出了一种名为 FIRE-TASTIC 的新框架，该框架通过结合目标检测器与视觉语言模型，实现了对火灾的可靠检测与信息检索。

目标检测器具有定位能力，可以检测到即使是很小的火迹，但也容易产生误报。而视觉语言模型则以其出色的零样本泛化能力，能够识别和描述类似火的物体，而无需预先微调。此外，本文还提出了一个基于视觉问答（Visual Question Answering, VQA）的 FIRE-TASTIC 变体，允许用户通过自定义问题来获取特定信息。通过将视觉语言模型的高级信息与目标检测器提供的时空定位信息相结合，本文提出了一种新颖的方法，以提高检索性能。实验结果表明，FIRE-TASTIC 在两个最新的火灾检测数据集上表现优异，其泛化能力和效果超越了当前最先进的方法。

为了提高处理效率，本文还提出了一种策略，仅在可疑帧上执行视觉语言模型，从而使得系统能够在实时处理和大规模数据集检索中保持高效。这种方法不仅减少了计算资源的消耗，还显著降低了误报率，使得 FIRE-TASTIC 能够在不同的应用场景中实现良好的性能。

在介绍 FIRE-TASTIC 框架之前，需要先了解现有火灾检测方法的局限性。传统的火灾检测方法通常依赖于颜色分析或运动特征提取，这些方法虽然在某些情况下表现良好，但在面对复杂多变的环境时，容易出现误报或漏报。例如，当图像被拍摄于远距离、在不同光照条件下，或者存在大量干扰物体时，传统方法可能无法准确识别火源。此外，许多方法在训练数据集不够全面或存在偏差时，也难以适应真实世界中的多样场景。

为了应对这些挑战，本文提出了一种结合目标检测器与视觉语言模型的新方法。目标检测器负责识别可能的火源区域，而视觉语言模型则用于验证这些区域是否真正包含火灾。这种方法不仅提高了检测的准确性，还降低了误报率，从而在实际应用中具有更高的可靠性。此外，视觉语言模型还可以用于信息检索，通过用户自定义的问题来提取特定的火灾相关信息，使得系统能够更好地满足不同的应用需求。

本文提出的 FIRE-TASTIC 框架具有两个主要部分：目标检测器和视觉语言模型。目标检测器专门用于识别火焰和烟雾，而视觉语言模型则负责更广泛的场景理解。通过结合这两种模型，本文实现了对火灾的高精度和高召回率的检测。实验结果显示，FIRE-TASTIC 在两个数据集上的表现优于现有的方法，特别是在处理复杂场景和减少误报方面。

此外，本文还探讨了视觉语言模型在视频处理中的应用。尽管视觉语言模型在图像理解方面表现出色，但在处理视频时由于计算复杂度较高，可能难以实现实时处理。因此，本文提出了一种策略，仅在目标检测器识别出疑似火灾的帧上执行视觉语言模型，从而在保持性能的同时降低计算负担。这种方法使得 FIRE-TASTIC 既能用于实时火灾检测，也能用于大规模视频数据库的信息检索。

本文还分析了不同配置下的性能表现。通过调整目标检测器的置信度阈值，可以平衡检测的精度和召回率。实验结果表明，FIRE-TASTIC 在各种配置下均表现出良好的性能，尤其是在处理具有挑战性的场景时，其泛化能力和可靠性得到了验证。此外，本文还比较了 FIRE-TASTIC 与 FIRE-TAT-VQA 的性能差异，发现两者在不同的应用场景中各有优势，但总体而言，FIRE-TASTIC 在精度和召回率之间取得了更好的平衡。

为了进一步验证框架的有效性，本文还进行了敏感性分析，探讨了置信度阈值对性能的影响。结果表明，FIRE-TASTIC 在不同阈值下均能保持较高的检测精度和召回率，这说明该框架具有较强的鲁棒性。同时，本文还讨论了计算复杂度对实际应用的影响，提出了一种优化策略，使得框架能够在有限的计算资源下运行。

总之，本文提出的 FIRE-TASTIC 框架通过结合目标检测器和视觉语言模型，实现了对火灾的高精度和高召回率的检测。该框架不仅能够减少误报，还能通过自定义问题来提高信息检索的灵活性。实验结果表明，FIRE-TASTIC 在多个数据集上均表现出优异的性能，为火灾检测和信息检索提供了一种新的解决方案。未来的研究可以进一步探索如何在不同的应用场景中优化该框架，以及如何结合零样本学习和小样本学习来提高其泛化能力。