FAN-TAST-IC：具备任务感知能力的时空图像分类技术，可实现快速报警通知

《ACM Transactions on Multimedia Computing, Communications, and Applications》：FAN-TAST-IC: Fast Alarm Notification with Task-Aware Spatio-Temporal Image Classification

视频警报系统需平衡实时性与检测精度，本文提出FAN-TAST-IC框架，通过轻量级目标检测器预筛选时空帧，再以预训练VLM编码器和二进制分类器精炼，实现无需标注数据且保持实时的高效方案。

　　

摘要AI摘要

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

基于视频的报警通知系统在安全关键应用中发挥着重要作用，例如火灾检测和行人监控，因为它们可以在危险情况发生时及时进行干预。然而，现有的方法往往难以在高灵敏度和特异性与实时性能之间取得平衡，尤其是在复杂场景中。为了解决这些限制，我们提出了一种新的方法，即基于任务感知的时空图像分类（FAN-TAST-IC），该方法能够实现快速报警通知。这是一个创新且高效的框架，它结合了一个轻量级的任务特定对象检测器、一个预训练的视觉-语言模型（VLM）编码器和一个二分类器。与端到端的多模态系统不同，FAN-TAST-IC仅将VLM作为固定的视觉特征提取器使用，保留了其丰富的语义知识，同时确保了计算效率。对象检测器对时间帧和空间位置进行粗略但实时的过滤，以确定可能存在物体的位置。然后根据具体应用的时间限制，通过两种不同的方式对这些过滤结果进行细化：要么丢弃时间上不连贯的检测结果，要么确认那些具有高置信度的检测结果。这种筛选方法大大减少了输入到VLM和分类器的数据量，仅保留了可靠的检测结果。因此，分类器是在检测器引导下的正面和负面样本上进行训练的，从而实现了精确的报警验证，提高了特异性，同时保持了灵敏度，而无需大量的标记数据集或对VLM进行微调。在火灾和行人检测任务上的实验表明，我们的方法非常有效，因为FAN-TAST-IC在各种比较方法中始终表现出色，在具有挑战性的基准测试中取得了更高的F分数和精度，同时保持了实时处理能力。

AI摘要

AI生成的摘要（实验结果）

该摘要是使用自动化工具生成的，并非由文章作者撰写或审核的。它旨在帮助读者发现相关内容、评估文章的相关性，并帮助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要，后者仍然是论文的官方摘要。完整文章才是权威的版本。点击这里了解更多。

点击这里对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由AI生成的通俗语言摘要，您必须具有高级访问权限。