《Journal of Imaging》：Review of Video Anomaly Detection from Closed-Set to Open-Set
编辑推荐：
视频异常检测（Video Anomaly Detection，VAD）已从基于手工特征的方法演进至基于深度学习与基础模型（Foundation Model）的方法，从而能够对复杂且前所未见的事件实现更优的检测性能。本综述通过四种范式审视了这一演进过程：封闭集（
视频异常检测（Video Anomaly Detection，VAD）已从基于手工特征的方法演进至基于深度学习与基础模型（Foundation Model）的方法，从而能够对复杂且前所未见的事件实现更优的检测性能。本综述通过四种范式审视了这一演进过程：封闭集（Closed-Set）、开放集（Open-Set）、开放词汇（Open-Vocabulary）与开放世界（Open-World）VAD。研究人员构建了一个统一分类体系，根据学习范式、模型架构、监督策略与语义能力对代表性方法进行组织归类。本综述进一步比较了基准数据集、评估协议与性能指标，重点聚焦于在真实环境中检测与识别未见异常事件所面临的挑战。针对视觉-语言模型（Vision-Language Models，VLMs）的最新进展，本综述讨论了其将语言知识与开放式语义推理引入VAD的能力。此外，本综述识别了与泛化能力、计算效率、多模态理解及实际部署相关的关键挑战。最后，本综述探讨了涉及大语言模型（Large Language Models，LLMs）、多模态大语言模型（Multimodal Large Language Models，MLLMs）与视频大语言模型（Video-LLMs）的新兴研究方向，以及智能体人工智能（Agentic AI）与自主推理在构建更具适应性与可解释性的VAD系统方面的潜力。
论文主体内容总结
1. 引言
1.1 视频异常检测：定义与应用
视频异常检测（VAD）旨在自动识别视频序列中偏离正常行为的事件。由于异常事件稀少、多样且通常在训练阶段不可获得，VAD通常被形式化为无监督、自监督或弱监督学习问题。早期方法依赖手工设计的运动特征与统计模型，而近期方法则采用深度神经网络、Transformer及时空表征学习直接从视频数据中学习判别性特征。智能监控是VAD的首要应用场景，可实现大规模摄像头网络的持续监控而无需持续人工监督，典型应用包括检测暴力、盗窃、入侵、故意破坏、遗留物及其他可疑活动。除监控外，VAD已逐步应用于医疗健康、交通运输与工业环境等领域。智能视频监控已从基于手工特征的方法演进至深度学习架构，包括卷积神经网络（CNNs）、循环神经网络（RNNs）、自编码器、生成模型与Transformer。近期基础模型（包括CLIP、VLMs、MLLMs与Video-LLMs）的进展使语义推理、开放世界泛化与可解释的异常解释成为可能。
1.2 封闭集VAD的局限性
大多数现有VAD方法在封闭集假设下开发，即训练与测试数据被假定具有相同分布。尽管该假设简化了模型训练与评估，但在真实场景中常被违背——监控环境持续演变，新型事件不断涌现。许多监督与弱监督VAD方法依赖预定义的异常类别，这些模型仅限于识别训练中观察到的异常，无法可靠识别超出预定义分类体系的新型异常事件。深度模型通常假设训练与测试样本独立同分布（i.i.d.），实际部署中由视角、光照、天气、场景动态及人群多样性引起的分布偏移常导致检测精度下降与误报增加。封闭集VAD的主要局限之一是无法泛化至未见异常。
1.3 开放集VAD的出现
封闭集VAD的局限性推动了开放集视频异常检测的发展，该范式期望模型能够在动态环境中检测并推理前所未见的异常事件。与依赖固定训练分布的封闭集方法不同，开放集VAD利用大规模预训练与语义知识来提升超越预定义异常类别的泛化能力。这一范式转变由开放集识别、基础模型、VLMs与LLMs的近期进展所驱动。
1.4 本综述的贡献与组织结构
本综述通过连接VAD研究的三个维度——问题形式化、实验设计与已展示能力——来回应一个核心问题：个体研究中所使用的实验协议是否为所提出的方法声称的能力提供了充分证据，特别是关于检测未见异常及超越常规基准设置的泛化能力。本综述将封闭集、开放集、开放词汇与开放世界VAD视为具有不同假设的重叠分析形式，而非严格层级。主要贡献包括：提出统一的VAD方法分类体系；系统分析代表性方法的学习范式、网络架构、监督策略、计算需求、优势、局限与声称能力；总结广泛使用的基准数据集与评估指标；考察开发实用开放集与开放世界VAD系统所面临的剩余挑战。
2. 背景
2.1 视频异常检测任务
VAD旨在自动识别视频序列中偏离正常模式的事件。与假定预定义类别集合的传统视频分类不同，VAD必须检测通常稀少、多样且高度依赖上下文的异常事件。正式地，给定包含T个连续帧的输入视频序列，VAD的目标是学习一个映射，为每帧输出预测的异常分数，数值越大表示异常可能性越高。VAD的主要挑战源于严重的类别不平衡、异常样本稀缺、较大的类内变异、动态背景、相机运动、光照变化及不同监控环境间的分布偏移。
2.2 问题形式化
根据监督水平的不同，VAD可在无监督、自监督、弱监督或全监督学习范式下形式化。无监督与自监督方法通常仅使用正常视频训练，通过重建或预测误差检测异常。弱监督方法利用视频级标签，通常采用多实例学习（MIL）框架，将每个视频视为实例包，通过时间聚合获得视频级异常分数。全监督方法进一步利用帧级标注直接优化时间定位精度。学习目标通常最小化依赖于任务的损失函数，包括分类、重建、未来预测与定位损失的组合。
2.3 封闭集与开放集形式化
帧级异常检测器产生异常分数，分数越大表示异常证据越强。异常分数不一定是校准概率。对于视频级监督，实例分数可通过最大值、top-k、注意力或其他池化规则进行聚合。视频级训练标签并不意味着评估也在视频级进行。
3. 术语与范式澄清
本综述定义了四种关键VAD范式：封闭集、开放集、开放词汇与开放世界VAD。四种范式主要在异常类别与异常定义如何确定方面存在差异。封闭集VAD假定训练期间已知固定且预定义的分类体系。开放集VAD放宽该假设，允许测试期间出现未见异常，但这些异常通常仅被识别为异常而不一定被赋予语义类别。开放词汇VAD通过引入基于语言的语义表征扩展开放集检测，使未见异常类别可使用文本概念进行描述或识别。开放世界VAD代表更广泛的设置，其中异常的定义本身可根据部署上下文、用户需求或操作目标动态变化。
3.1 关键区别
从封闭集到开放集、开放词汇与开放世界VAD的演进反映了异常类别与异常定义两方面灵活性的递增。检测未知异常的能力并不必然意味着分类、用语言描述或在推理时重新定义异常的能力。
3.2 区分检测与识别
二元检测产生异常分数。当还需要类别识别与未知拒绝时，输出可定义为包含异常分数与类别标签的组合。检测器仅因能标记未见事件为异常，并不被假定能提供类别识别输出。
4. 基准与评估指标
4.1 基准
基准数据集在VAD方法开发与评估中发挥基础性作用。数据集中的标注可用性不应等同于特定实验的监督水平——标注可用性是数据集的内在属性，而监督水平由训练期间实际使用的标注决定。开放集评估引入第三个维度：异常类别暴露，即测试时评估的异常类别是否在训练期间被观察过。本综述区分三个层面：标注可用性、训练协议与异常类别暴露。UBnormal与RSOB因其基准协议明确支持对训练中未出现的异常类别进行评估而尤为相关。
4.2 评估指标
VAD算法通常从三个互补视角评估：检测精度、开放集识别能力与计算效率。封闭集指标主要包括受试者工作特征曲线下面积（AUC）、平均精度（AP）与均值平均精度（mAP）。开放集指标包括AUROC、95%真阳性率下的假阳性率（FPR95）、开放集分类率（OSCR）与调和分数（H-score），以及期望校准误差（ECE）。计算指标包括每秒帧数（FPS）、延迟、参数量、浮点运算次数（FLOPs）与推理期间内存消耗。
5. 仅正常与弱监督VAD
5.1 训练条件术语
仅正常训练描述任务特定训练使用无异常视频的数据条件。弱监督VAD使用含异常视频及粗粒度标签。全监督VAD在训练期间使用详细时间或空间异常标注。半监督保留给明确结合标注与未标注训练数据的协议。自监督指训练目标而非独立的数据标签机制。
5.2 弱监督VAD
弱监督VAD仅使用视频级标签，问题通常形式化为多实例学习（MIL）。Sultani等人建立了广泛采用的基于MIL的形式化框架，将异常与正常视频分别视为正包与负包。MIST引入伪标签生成与自引导注意力。RTFM通过学习时间特征幅度并选择高判别性实例来解决异常片段稀少与正常片段占主导之间的不平衡。S3R通过自监督稀疏表示学习改进弱监督VAD。MGFN++通过幅度对比学习与多尺度时间特征建模进一步改进。
5.3 弱监督VAD中的视觉-语言模型
S3R结合字典式稀疏表示与自监督学习，利用学习字典重建片段级特征并过滤正常事件成分。CLIP-TSA将预训练视觉-语言表征引入弱监督VAD，提取基于ViT的CLIP视觉特征并应用时间自注意力模块建模时间依赖。PE-MIL引入异常感知与正常上下文提示以改进异常事件与其周围正常内容的分离。WSVAD-CLIP结合CLIP表征与时间提示学习以捕获演化的异常模式。LaGoVAD允许使用自然语言指定异常定义，将弱监督VAD从固定类别异常识别扩展至开放世界异常检测。
6. 无监督VAD
6.1 基于重建的方法
早期深度学习方法主要将VAD形式化为重建问题。基于自编码器的方法学习正常视频的紧凑表征并重建输入序列，重建误差用作异常分数。记忆增强架构引入显式的正常性表征，MemAE包含存储原型正常模式的记忆模块，MNAD结合记忆引导的正常性建模与重建及未来帧预测。
6.2 基于预测的方法
替代形式化将VAD视为未来帧预测问题。模型从先前观测预测未来帧，根据预测帧与观测帧之间的差异识别异常。正常活动通常表现出可预测的时间演化，模型可为正常事件准确生成未来观测，而在意外事件发生时产生较大预测误差。
6.3 混合与基于表征的方法
混合方法结合互补的重建、预测、运动与表征学习信号。DiffVAD引入基于扩散的框架，学习潜在正常模式而非仅依赖像素级重建误差。Attribute-VAD将焦点从原始视觉外观转向语义属性。Hybrid-ConvATFM结合卷积自编码与基于注意力的时间特征建模。
7. 开放集监督VAD
7.1 开放集VAD的核心挑战
开放集VAD的主要挑战是分离已知异常与未见异常，而不将每个不熟悉观测都视为异常。开放集形式化要求表征在保持已知类别判别结构的同时，维持正常观测与未知异常事件之间的充分分离。UBnormal通过显式分离已知与未知异常类型提供早期基准，RSOB进一步评估跨未见异常类别与不同监控场景的监督开放集泛化。
7.2 基于VLM的方法
大规模VLM的出现为开放集VAD引入新方向。CLIP提供共享的视觉-语言嵌入空间，使视觉观测可与文本描述进行比较。VadCLIP展示了将CLIP知识迁移至视频异常检测的有效性。开放词汇视频异常检测（OVVAD）将方向从检测未见异常扩展至识别其语义类别。
7.3 基于基础模型的开放集异常识别
基础模型被引入VAD以提供更丰富的视觉与语义表征。使用预训练视觉-语言模型本身不构成开放集评估。AnomalyCLIP利用预训练CLIP表征的语义结构，但其在UCF-Crime、ShanghaiTech与XD-Violence上的标准基准结果不应被解释为正式开放集评估，除非异常类别被显式从任务特定训练中扣留。Anomize利用视觉与文本语义表征解决不熟悉异常模式的识别与分类。
8. 开放词汇VAD与开放世界异常检测
8.1 开放词汇VAD
Wu等人将OVVAD形式化为两个互补任务：类不可知异常检测与类特定异常分类。其框架整合LLM语义知识并使用异常合成构建伪未见异常示例。VadCLIP的标准实验不构成正式开放集或开放词汇评估。Anomize通过组合多级视觉信息与文本表征解决检测模糊性与分类混淆问题。
8.2 开放世界异常检测
开放世界VAD超越识别未见异常类别，考虑异常解释可能随语言、上下文或操作需求变化的情况。LaGoVAD提供代表性语言引导形式化，异常定义可在推理时以自然语言指定。HAWK结合视觉-语言模型与显式运动信息，除异常检测外还支持视频描述与问答。多模态证据学习结合视觉-语言关联、时间建模与多模态证据聚合以表征异常预测中的不确定性。
8.3 开放世界VAD的协议导向分析
本综述根据四个协议级问题分析开放词汇与开放世界VAD：定义敏感性——异常定义是否可在不重训练检测器的情况下修改；目标事件判别——系统能否区分所请求的异常与其他异常事件；上下文鲁棒性——声称的语义能力在场景、相机、环境或操作上下文变化时是否保持有效；指标-声称对齐——所报告的指标是否实际衡量所声称的能力。
9. 计算效率与报告注意事项
计算效率是实际VAD部署的重要考量，但已发表的计算测量常在显著不同的实验条件下报告。参数量描述模型规模，而推理速度取决于硬件、数值精度、批大小、输入分辨率、时间窗口、实现及计时过程中包含的阶段。FPS测量可能在不同硬件、精度、批处理策略与软件实现下获得。不同研究报告的测量应视为来源特定指标，而非受控的跨方法效率基准。
10. 挑战与未来方向
10.1 挑战
开放集与开放世界VAD的主要挑战包括跨场景与跨域泛化、语义理解与可解释性、多模态融合、计算效率、不确定性估计与持续适应以及评估标准化。现有模型多使用有限环境集合训练，可能学习场景特定特征而非通用正常性表征。通用VLM未针对监控特定概念进行专门训练。大多数VAD系统主要依赖RGB视频，音频、文本、元数据、深度与其他传感器信息可提供互补证据。CLIP、VLMs与Video-LLMs需要比传统CNN模型更多的计算资源。开放世界系统必须区分已知正常事件、已知异常、未知异常与真正模糊的观测。
10.2 部署与未来方向
实际部署引入额外要求。大规模监控系统可能涉及成百上千个摄像头，集中处理所有视频流在计算与带宽方面代价高昂。层级边缘-云架构可通过本地执行轻量级异常筛查并仅转发相关视频片段或特征表征至集中模型来解决该问题。联邦或分布式学习可支持跨摄像头网络的模型适应。隐私、公平性、透明度与问责制也是智能监控的重要考量。未来系统应整合隐私保护学习、偏差评估、透明报告与人机协同机制。
