STPrompt++：用于弱监督视频异常检测与细粒度定位的视觉语言模型提示方法

《ACM Transactions on Multimedia Computing, Communications, and Applications》：STPrompt++: Prompting Vision-Language Models for Weakly Supervised Video Anomaly Detection and Fine-Grained Localization

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

传统的弱监督视频异常检测任务通常依赖粗粒度的帧级标签进行训练。虽然这种方法降低了标注成本，但由于缺乏细粒度标注，导致语义理解和空间定位能力较弱，从而难以实现精确的像素级异常检测和定位。得益于视觉语言模型（VLMs）如CLIP的成功，近期的一些方法开始利用这些模型强大的语义理解能力，但它们通常只将关键帧或短视频片段输入模型，没有提供足够的上下文信息（如异常周围的帧、放大后的异常区域、详细的异常描述），这限制了模型对异常的细粒度理解和精确定位能力。最近，有一些方法尝试通过结合像素级视觉特征和简单的文本特征来实现无需训练的空间异常定位。然而，这些方法使用的文本描述较为简单，缺乏对异常的深入语义理解，从而导致定位结果较为粗糙，且存在大量无关背景噪声。为了解决这些问题，我们提出了STPrompt++，这是一种基于视觉语言模型的新型弱监督时空视频异常检测与定位方法。在我们的研究中，我们系统地利用从异常分数中得到的初步粗略定位区域作为空间先验，再结合关键帧周围的上下文帧、可疑异常区域的放大视图以及更详细的异常文本描述。这种综合的提示机制引导VLMs深入理解视频中的异常，从而实现精确的像素级空间定位。所提出的STPrompt++无需额外训练，通过精心设计的多轮多模态提示机制，显著提升了异常理解和定位的精度。在两个广泛使用的弱监督视频异常检测基准测试UCF-Crime和UBnormal上的大量实验表明，我们的方法在空间定位性能上达到了最先进水平，在时间异常检测方面也具有竞争力。特别是在UCF-Crime数据集上，我们的方法将空间定位精度（以TIoU表示）提高了5.61%，优于当前最佳方法的23.90%，凸显了其在精确异常定位和语义理解方面的优势。

AI总结

AI生成的总结（实验性）

此总结是使用自动化工具生成的，未经文章作者撰写或审核。它旨在帮助读者发现相关内容、评估文章的相关性，以及帮助来自相关研究领域的读者理解该文章。它是对作者提供的摘要的补充，而作者提供的摘要仍是文章的主要总结。完整文章才是权威版本。点击此处了解更多。

点击这里，可以对此总结的准确性、清晰度和实用性发表意见。您的反馈将有助于改进未来的生成版本。

要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。