《Electronics》：Trained Still Wins: Narrowing the Gap to Zero-Shot Video Anomaly Detection
编辑推荐：
视频异常检测（Video Anomaly Detection, VAD）在“检测器应如何获取对特定摄像头的‘正常’概念”这一问题上存在两种截然不同的答案：一是将模型参数适配于该摄像头拍摄的数小时正常视频，二是不进行任何目标场景适配，仅依赖冻结的、经过大规模预训
视频异常检测（Video Anomaly Detection, VAD）在“检测器应如何获取对特定摄像头的‘正常’概念”这一问题上存在两种截然不同的答案：一是将模型参数适配于该摄像头拍摄的数小时正常视频，二是不进行任何目标场景适配，仅依赖冻结的、经过大规模预训练的主干网络——即视觉-语言图文模型（vision-language image–text model）与应用于帧文本描述的大语言模型（large language model, LLM）。研究人员将第二种设置称为目标场景免训练（target-scene-training-free）：主干网络本身在超大规模通用语料上训练，但没有任何参数在目标场景上进行更新、微调或迁移学习。该设置在部署上更为便捷，但其精度损失有多大？且能否在不进行目标场景适配的前提下缩小这一差距？研究人员在操作层面将异常定义为：在评分函数??(·)∈[0,1]下得分超过阈值的帧，并采用统一的指标定义与实现评估所有系统，即基于各基准测试集中所有带真值标签的测试帧计算的帧级ROC曲线下面积（Area Under the ROC Curve, AUC）与等错误率（Equal Error Rate, EER）。研究人员在UCSD Ped1、UCSD Ped2与CUHK Avenue的正常训练集上训练了一个简化的未来帧预测网络——一种以强度与梯度差损失优化的U-Net，并移除了原始设计中的光流与对抗项——其平均AUC达到0.848。而目标场景免训练系统的初始表现远落后，仅为0.567，原因在于其语义信号在实际中丢失：用于生成该信号的视觉-语言模型在全测试集上运行过慢。研究人员通过三种方式缩小这一差距，且均在完整测试集上评估：CLIP引导语义锚定（CLIP-Guided Semantic Grounding, CSG）、视觉-语言推理（Vision-Language Reasoning, VLR）与统计校准语义锚定（Statistically-Calibrated Semantic Grounding, SCSG）。最佳方法将平均AUC提升至0.653，在不进行目标场景适配的情况下缩小了约三分之一的差距。然而，训练模型在每个基准上仍保持领先；且由于该模型被刻意简化，所报告的差距是完整工程化训练模型所表现差距的保守下界。研究人员如实报告了所有结果，包括提示敏感性分析——展示免训练结果在多大程度上依赖提示措辞——更复杂方法未能超越更简单方法的案例，以及对UCSD Ped1为何是训练模型表现最弱基准的量化解释。
视频异常检测研究解读：训练范式与免训练范式的量化对比与语义信号修复
一、研究背景与问题提出
视频异常检测（Video Anomaly Detection, VAD）旨在回答一个简单问题：视频流当前是否发生异常事件？其核心难点在于“异常”具有强烈的场景依赖性——同一行为在不同场景下的正常性截然不同。例如，汽车在道路上行驶属正常，而在人行道上则构成异常；人在健身房外跑步属正常，而在深夜安静走廊中则需警惕。这种场景依赖特性使得该领域长期以来的主流方法为：针对特定摄像头拍摄的数小时正常视频训练模型，使其学习该场景下的“正常”模式，并对偏离该模式的帧进行标记。此类训练模型在标准基准上表现优异，但部署成本高昂——每新增一个摄像头，均需重新采集正常视频数据并重新训练，这一成本在服务机器人、物联网监控等实际应用场景中尤为突出。
为规避上述成本，另一研究路线探索在不进行任何目标场景参数适配的前提下实现异常检测，即依赖冻结的、在大规模通用数据上预训练的主干网络，包括视觉-语言模型（如CLIP）与大语言模型（LLM）。此类系统可直接部署于全新场景，无需重训练或逐摄像头数据采集，但此前学界多停留在抽象讨论层面，未在统一基准与统一评估协议下量化其精度损失。本研究旨在以实际数据而非直觉回答这一问题：场景特定训练究竟能带来多大精度收益？免训练系统又能在多大程度上缩小这一差距？
二、研究内容与核心结论
研究人员构建了对比双方：训练侧采用简化的未来帧预测网络（基于Liu等人的架构，移除光流与对抗训练组件），在三个标准基准（UCSD Ped1、UCSD Ped2、CUHK Avenue）的正常训练集上分别训练，平均帧级AUC达0.848。免训练侧首先建立基于滚动历史的多信号融合基线，其平均AUC仅为0.567，差距达0.281。研究发现，这一差距的主要成因并非能力缺陷，而是一个具体的、可修复的机制性问题：真正的语义信号（即通过视觉-语言模型逐帧生成字幕并由语言模型推理判断）在全测试集规模下计算成本过高，导致实际评估中该信号被静默丢弃，仅剩视觉、目标与时间三类历史相对信号。
为修复这一缺陷，研究人员提出三种免训练语义信号方法：CLIP引导语义锚定（CSG）通过固定文本提示库比较帧的CLIP嵌入，无需任何历史信息；视觉-语言推理（VLR）通过时间窗口聚合与代表性帧字幕，恢复真实字幕与语言模型推理能力；统计校准语义锚定（SCSG）将CSG的标量相似度差距扩展为基于收缩正则化协方差的多元马氏距离。最佳方法SCSG将平均AUC提升至0.653，在不进行目标场景训练的情况下缩小约31%的原始差距。然而，训练模型仍在每个基准上保持领先，且因训练模型被刻意简化，所报告差距为保守下界。
三、关键技术方法
研究采用以下核心技术方法：（1）训练基线为简化的未来帧预测U-Net网络，以强度损失与梯度差损失优化，在UCSD Ped1（15轮）、UCSD Ped2（25轮）、CUHK Avenue（8轮）正常训练集上分别训练；（2）免训练基线融合三类历史相对信号——基于ResNet-50特征的视觉信号、基于YOLOv11目标类别分布的Jensen–Shannon散度目标信号、基于评分波动的时间信号；（3）CSG方法使用ViT-B/32 CLIP模型，将帧嵌入与固定正常/异常文本提示库比较；（4）VLR方法使用llama3.2-vision生成窗口代表性帧字幕，由llama3:8b语言模型进行窗口级异常判断；（5）SCSG方法从各数据集正常训练集采样60帧构建参考分布，计算收缩正则化马氏距离。所有实验在单块RTX 3060（12GB）GPU上完成。
四、研究结果
4.1 量化差距及其保守下界性质：在统一评估代码下，训练模型与免训练基线间的平均AUC差距为0.281。由于训练模型刻意移除光流与对抗组件，且训练轮数有限，该差距为保守下界；SCSG缩小约31%差距的比例为乐观估计。
4.2 训练模型设定高基准：训练模型在UCSD Ped2上AUC达0.966，接近上限；在Ped1（0.715）与Avenue（0.863）上差距较小但仍显著。免训练系统起点（0.567）远落后。
4.3 训练模型结果详解：ROC曲线显示Ped2近乎垂直上升，Ped1接近对角线；得分分布分析表明Ped2正常帧得分集中于0.2以下，异常帧广泛分布其上，而Ped1两分布高度重叠，解释了Ped1为训练模型最弱基准的原因。
4.4 训练模型在Ped1上表现最弱的量化解释：Ped1列基于10个带像素掩码的测试片段计算，而非标准协议下的36片段全集；在标准协议下训练模型得分显著更高。
4.5 延长训练的影响：报告了进一步延长训练轮数后各数据集模型表现的变化。
4.6 免训练基线结果：三类历史相对信号融合的基线平均AUC为0.567，其时间线显示复合得分需多帧“预热”，在短片段异常区域可能保持平坦。
4.7 信号融合策略：静态融合在三个提出的免训练方法中一致优于自适应注意力融合，因自适应融合权重原围绕三信号基线调优。
4.8 各方法对比：CSG平均AUC达0.624，VLR为0.586，SCSG达0.653。VLR虽信息最丰富但未胜出，因其窗口广播机制使短于窗口的异常无法分辨。
4.9 提示敏感性分析：去除数据集特定名词的提示库使CSG损失12.7 AUC点；SCSG对提示措辞的鲁棒性显著优于CSG的标量差距形式。
4.10 测试时校准消融：受Zia等人启发的无监督逐片段测试时校准在三个基准中帮助一个、损害两个，为关于该校准适用性的新发现。
五、结论
研究通过统一评估协议，首次直接量化了场景特定训练与免训练视频异常检测之间的精度差距。训练模型（简化版）平均AUC为0.848，免训练基线为0.567，最佳免训练方法SCSG提升至0.653，缩小约31%差距。训练模型在每个基准上仍保持领先，且因模型刻意简化，差距为保守下界。研究同时识别了免训练系统性能受限的具体机制原因——语义信号因计算成本被静默丢弃——并提供了三种修复方案。研究如实报告负面结果，包括VLR未胜出、测试时校准效果不一、提示敏感性分析等。结论表明：训练范式在精度上仍具显著优势，但免训练范式通过语义信号修复可缩小部分差距，且其部署便利性在特定场景下具有不可替代的价值。
