综述：基础模型驱动的视频异常理解综述

《Pattern Recognition》：A survey on foundation model-driven video anomaly understanding

　　

• •
  首个关于基础模型驱动的视频异常理解（VAU）的综述。
• •
  提出了一个统一的异常感知-认知分类体系。
• •
  系统回顾了VAU的基准数据集与评估指标。
• •
  讨论了VAU面临的未来挑战与机遇。

引言

视频异常理解（VAU）[1], [2], [3] 是人工智能领域的一个重要研究方向，在公共安全、工业监控和自动驾驶等方面具有广泛应用。其目标是在复杂、开放且动态变化的环境中，自动识别并解读偏离正常行为或状态的事件。尽管异常在不同场景和任务中并无普适的固定定义，但通常将其描述为相对于预期正常行为或状态的、依赖于上下文的偏差。

在基础模型出现之前，VAU研究主要围绕视频异常检测（VAD）展开。[4], [5], [6], [7], [8], [9], [10], [11], [12], [13], [14] 异常通常被视为统计异常值或显著偏离正常数据分布的视觉模式，并通过自监督学习或判别式分类建模方法进行识别。尽管这一范式表现出合理的性能，但它高度依赖于特定场景的统计特性和低层次视觉特征，难以捕捉异常的语义本质，也难以泛化到未见过的异常和新场景。

基于视觉-语言预训练的基础模型的出现（如CLIP [15]）从根本上重塑了研究范式。视频可以被映射到与语言概念对齐的表示空间中，使得异常可以被识别为语义不一致性，而不仅仅是特征异常值。这一转变支持了开放词汇和跨场景的异常检测，形成了一种新的异常感知范式。然而，尽管具备语义感知能力，大多数现有方法仍然以检测和基于评分为导向，可解释性有限，对异常事件中实际发生的事情也缺乏深入洞察。在异常感知的基础上，以大语言模型（LLM）和多模态大模型（MLLM）为代表的基础模型将VAU进一步推进至异常认知层面。通过利用其嵌入的世界知识、语义推理和生成能力，这些模型能够将隐含的异常模式转化为可解释的文本描述，从而实现对异常事件的高层次语义解释。

需要明确的是，尽管异常感知和传统VAD都回答"是否发生了异常"这一问题，但它们的建模范式有着根本性的区别。传统VAD依赖于外观-运动特征和统计偏差，而异常感知是一种以基础模型为中心的检测范式，利用语义丰富的表示来驱动显式的视觉-语言对齐。类似地，本工作中的异常认知指的是对异常事件的语义推理与解读，而非基础模型内部的通用认知机制。为了直观地阐明这一演进轨迹，我们在图1中展示了VAU的发展历程，突出了从传统VAD到基础模型驱动VAU的范式转变，这一转变催生了基准数据集和评估指标从粗粒度帧级评分向细粒度语义理解的迭代演进。

基于上述视角，本综述从统一的异常感知-认知框架出发，对基础模型驱动的VAU进行了系统回顾。具体而言，我们首先对基础模型驱动的VAU任务进行形式化定义，并阐明异常感知与异常认知之间的概念差异（第2节）。随后，我们提供了对基准数据集和评估指标演进的结构性回顾（第3节），刻画了它们如何被重新配置以有效验证基础模型的异常感知和异常认知能力。然后，基于所提出的异常感知-认知分类体系（图2），我们从两个互补的角度对现有基础模型驱动的VAU方法进行分类和分析。异常感知（第4节）侧重于利用基础模型的表示学习、视觉-语言对齐和泛化适配能力来学习语义表示并执行有效的跨模态匹配，以发现和定位视频中的潜在异常线索；异常认知（第5节）进一步利用逻辑推理和辅助生成机制，为异常事件提供全面的语义解读、因果推断甚至未来预测，从而弥合从异常检测到真正异常理解之间的鸿沟。最后，我们总结了当前面临的挑战并概述了若干有前景的未来方向（第6节）。

据我们所知，这是首个从异常感知-认知视角系统审视基础模型驱动VAU的综述，超越了以传统VAD为中心的分析，刻画了基础模型如何为不同层次的异常相关任务做出贡献。本综述旨在提供一份结构化的前瞻性参考，为这一快速发展的领域中的未来研究方向提供灵感。

章节摘要

任务形式化

与传统VAD依赖低层次统计偏差不同，异常感知利用基础模型来评估视觉内容在语义上是否与正常行为一致或是否与异常概念对齐。形式化地，其目标是学习一个感知函数 $\mathcal{F}:(\mathcal{V},\mathcal{P})\to {\left[\mathrm{0,1}\right]}^T$，其中 $\mathcal{V}$ 是视频，$\mathcal{P}$ 表示语义先验，可以实例化为从训练数据中学习的视觉原型或正常与异常事件的文本描述。该

基准数据集的演进

VAU的发展与基准数据集的演进密切相关。现有基准数据集逐渐从以异常检测为导向的数据集向以异常理解为导向的基准数据集过渡。早期数据集主要关注异常事件是否发生以及发生在哪里。典型基准数据集如UCF-Crime [16]、XD-Violence [17]、ShanghaiTech [18]和UBnormal [19]主要提供视频级标签或时间标注，而

异常感知

作为跨模态交互和高阶认知推理的基本前提，异常感知旨在利用基础模型的视觉理解能力构建统一的特征空间，在该空间中进行异常检测。具体而言，它通过映射和匹配机制将低层次视觉信息（如对象、背景及其空间拓扑关系）转化为语义丰富的向量表示，从而实现

异常认知

与基于评分检测的异常感知不同，异常认知寻求克服可解释性方面的局限。为系统分析该领域的现有研究，我们将代表性的异常认知工作组织为两个互补的角度：逻辑推理（第5.1节），直接支持对异常事件的语义解读和决策；辅助生成（第5.2节），作为辅助认知机制

挑战与未来方向

在基础模型驱动VAU的最新进展基础上，我们进一步识别出若干尚未得到充分解决的根本性挑战。这些挑战不仅仅是将现有方法扩展到新的场景，而是涉及实现更可靠和全面的异常理解所需的底层能力。

迈向快慢协同的VAU。当前基础模型驱动的VAU方法通常侧重于可解释性有限的快速异常检测，或者

结论

本文呈现了首个关于基础模型驱动视频异常理解的综述，并对这一快速兴起的领域进行了全面回顾。我们首先对基础模型驱动的VAU任务进行了形式化定义，并阐明了异常感知与异常认知之间的概念差异。我们进一步回顾了基准数据集和评估指标的演进，突出了近期数据集和指标如何被重新设计以评估更高层次的异常理解

CRediT作者贡献声明

苏万顺：撰写—初稿、方法论、概念化。唐可：验证、数据整理。刘定一：验证、数据整理。吴鹏：监督、资源、项目管理。闫清森：撰写—审稿与编辑、可视化。庞观松：撰写—审稿与编辑、研究。

利益冲突声明

作者声明不存在可能影响本论文所报道工作的已知竞争性财务利益或个人关系。

苏万顺|唐可|刘定一|吴鹏|闫清森|庞观松