SOR-BDNet：基于GPT-4o的边界感知视频异常检测中的语义-光学表示方法

《ACM Transactions on Multimedia Computing, Communications, and Applications》：SOR-BDNet: Semantic-Optical Representation for Boundary-Aware Video Anomaly Detection with GPT-4o

视频异常检测框架SOR-BDNet融合运动场估计与GPT-4o语义生成，通过时空特征融合和边界优化模块提升检测精度，在四个数据集上达到85.64%-97.96%帧级准确率。

　　

摘要AI 摘要

要查看此由 AI 生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

近年来，视频异常检测（VAD）已从传统的基于外观的建模方法转向由大型语言模型（LLMs）驱动的半自动框架。传统的基于重建和预测的方法依赖于从正常数据中学习到的运动或外观模式，经常将以前未见但语义上正常的事件误分类为异常。为了解决这一限制，我们提出了 SOR-BDNet（具有边界检测网络的语义-光学表示），这是一个无需注释的多模态 VAD 框架，它结合了视觉外观和运动动态，在帧级别生成可解释的语义表示。具体来说，我们使用 RAFT 估计密集的运动场，并将得到的流图与 RGB 图像连接起来，形成统一的时空输入。这些融合的表示被输入到一个基于 GPT-4o 的模块中，该模块生成捕捉对象语义和运动线索的语义标题。通过测量与从正常标题构建的记忆库中的语义偏差来检测异常。为了进一步细化时间边界，我们设计了一个边界细化模块，该模块将视觉连续性约束与基于 Swin Transformer 的对比特征学习相结合。在四个具有挑战性的基准测试——UCSD-Ped2、Avenue、ShanghaiTech 和 UCF-Crime 上进行的广泛实验表明，SOR-BDNet 在帧级别的准确率分别为 97.96%、82.86%、87.36% 和 85.64%。这些结果突显了所提出框架的鲁棒性和可扩展性，同时在各种现实世界的监控场景中显著提高了可解释性和泛化能力。源代码和预训练模型可在 https://github.com/syi-coder/SOR-BDNet-Semantic-Optical-Representation-for-Boundary-Aware-Video-Anomaly-Detection-with-GPT-4o 获取。

AI 摘要

AI 生成的摘要（实验性）

此摘要是使用自动化工具生成的，并非由文章作者撰写或审核的。它旨在帮助发现、帮助读者评估相关性，并协助来自相关研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。完整文章仍然是权威版本。点击此处了解更多。

点击 此处 对此摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进未来的版本。

要查看此由 AI 生成的通俗语言摘要，您必须具有高级访问权限。