融合人-物交互与动作语义的弱监督视频异常检测跨域框架(VADHOI)

《PLOS One》:Learn the interactions: Weakly supervised video anomaly detection with human-object interactions

【字体: 大 中 小 】 时间:2026年09月19日 来源:PLOS One 2.8

编辑推荐:

  弱监督视频异常检测(Weakly Supervised Video Anomaly Detection, WSVAD)仍然是一个具有挑战性的问题,主要原因在于异常训练样本的稀缺以及特征表示多样性的不足,这阻碍了判别性模型的学习。为解决这些问题,研究人员提出了一

  
弱监督视频异常检测(Weakly Supervised Video Anomaly Detection, WSVAD)仍然是一个具有挑战性的问题,主要原因在于异常训练样本的稀缺以及特征表示多样性的不足,这阻碍了判别性模型的学习。为解决这些问题,研究人员提出了一种新颖的弱监督跨域框架,通过显式整合来自人-物交互(Human-Object Interactions, HOI)和动作动态的语义线索来丰富特征表示。具体而言,研究人员使用两个独立的编码器对域特定特征进行建模,并通过双向交叉注意力机制(bi-directional cross-attention)将它们融合以获得统一的嵌入表示。为进一步缓解类别不平衡并增强特征判别能力,该网络通过分类损失(classification loss)、跨域对比损失(cross-domain contrastive loss)和片段级焦点损失(clip-level focal loss)进行联合优化。所提方法在多种视觉骨干网络上进行了评估,展示了其适应性和鲁棒性。大量实验表明,在弱监督设置下,该方法在AUC指标上取得了与最先进方法相竞争的性能。具体而言,所提方法在两个基准数据集ShanghaiTech和UCF-Crime上分别取得了98.33%和87.96%的AUC。
视频异常检测(Video Anomaly Detection, VAD)旨在自动识别视频中与已学习正常表示不同的异常事件的起始和结束帧,并实现持续检测。弱监督视频异常检测(WSVAD)因仅需视频级标签而具有实用可扩展性。然而,现有WSVAD方法存在三个主要局限:其一,特征学习不平衡,真实场景中正常帧远多于异常帧,如UCF-Crime训练集包含超过1200万帧且无精确帧级标签,导致潜在特征空间被正常模式主导;其二,语义多样性与复杂性不足,多数框架依赖单一特征空间(如C3D、I3D或VideoSwin),难以表达人-物交互(HOI)的细粒度语义,而许多异常行为(如击打、踢、推、拖)恰恰涉及此类交互;其三,监督信号不足,仅有视频级标签使得模型难以准确定位时间上稀疏或短暂的异常事件。这些限制的核心在于训练数据不足,因此引入互补的语义信息以增强判别特征至关重要。

针对上述问题,研究人员提出了VADHOI(Video Anomaly Detection with Human-Object Interactions),一种新颖的弱监督跨域框架。其核心是HOI与动作学习(HOIAL)模块,包含动作编码器、HOI编码器和跨域编码器:动作编码器使用预训练视觉骨干(I3D或CLIP视觉分支)提取动作特征,HOI编码器利用预训练的HOTR检测器提取交互特征,跨域编码器通过双向交叉注意力融合两类特征,得到统一联合表示。为处理类别不平衡,研究人员设计了跨域对比损失,促进跨域同类特征紧凑、异类特征分离;同时提出片段级焦点损失,基于生成的片段级伪标签(由预训练WSVAD模型产生并经时间平滑)提高困难样本权重。融合特征经MLP投影后输入多尺度时序网络(MTN),以捕捉不同时间尺度的长短期依赖。在UCF-Crime和ShanghaiTech上的实验表明,VADHOI获得87.96%和98.33%的帧级AUC,与最先进方法性能相当,尤其是在纯视觉条件下达到与依赖视觉-文本对齐方法可比的性能。这是首个在WSVAD中显式利用跨域HOI语义的工作,为异常检测提供了更丰富的语义线索。

研究人员使用两个公开基准:UCF-Crime(训练集1610个视频,测试集290个视频)和ShanghaiTech(按Zhong等改编为弱监督设置,训练238个视频,测试199个视频)。动作特征采用预训练I3D或CLIP视觉编码器(CLIP-V)提取;HOI特征采用在HICO-DET上预训练的HOTR检测器提取。两类特征分别经动作编码器和HOI编码器建模,再经跨域编码器中的双向交叉注意力融合,由MLP投影并输入MTN,最后经轻量分类器输出片段级异常分数。训练中使用视频级分类损失、跨域对比损失和片段级焦点损失,并通过预训练模型生成片段级伪标签。模型在单个NVIDIA RTX 4090 GPU上训练1500迭代。

Comparison to the state-of-the-art:与现有方法对比,VADHOI在ShanghaiTech上达到98.33% AUC,优于所有现有方法;在UCF-Crime上达到87.96% AUC,超过RTFM、MSL、SSRL、MGFN等弱监督方法,仅比采用视觉-文本跨模态对齐的VADCLIP低0.06%,但VADHOI仅使用纯视觉特征,无需文本或提示。

Ablation Studies of HOIAL:在UCF-Crime和ShanghaiTech上使用CLIP-V特征进行消融。只使用动作编码器或HOI编码器时,AUC分别为86.83%和85.99%;两者直接拼接而不进行跨域融合时,性能降至83.58%;加入跨域编码器后,AUC提升至87.96%和98.33%,证明双向交叉注意力可解决特征错位并增强判别力。

Ablation Studies of HOIAL Module on different visual backbones:使用I3D-RGB时,加入HOIAL使UCF-Crime AUC从84.03%提升至87.81%,ShanghaiTech从96.13%提升至97.66%;使用CLIP-V时,AUC从85.85%提升至87.96%,ShanghaiTech从97.93%提升至98.33%,表明HOIAL对传统和预训练特征提取器均带来一致增益。

Ablation studies of Cross-Domain Contrastive Loss and Clip-Level Focal Loss:基线(仅HOIAL)在UCF-Crime和ShanghaiTech上AUC为86.68%和97.34%;单独加入跨域对比损失升至87.28%和98.12%;单独加入片段级焦点损失升至87.06%和97.97%;两者联合达到87.96%和98.33%,验证了两种损失在增强特征可分性和处理类别不平衡方面的互补性。

Ablation Studies of MTN:将MTN替换为全连接时序层后,AUC下降,表明多尺度时序建模能有效捕捉长短时依赖,提升对稀疏或短暂异常的检测能力。

Sensitivity to Temporal Smoothing Kernel Size in PLG:当时间平滑核大小k从3变化到9时,AUC波动在0.2%以内,表明方法对k不敏感。

Ablation studies of thresholding strategies in PLG:比较均值和中位数阈值策略。均值阈值导致约84.6%的片段被标为异常,中位数阈值产生更均衡的标签分布,性能相当但更稳定,因此采用中位数阈值作为视频自适应的判定边界。

Model Size, Speed, and Computational Complexity:VADHOI参数量为53.84M,计算量仅2.48 GFLOPs,远低于SSRL等模型;在RTX 4090上计算帧级异常分数耗时小于1ms,在准确率、模型紧凑性和推理效率之间取得良好平衡。

Qualitative results:定性可视化显示,在Burglary037中,VADHOI产生尖锐且时间精确的异常分数;在Stealing079中,模型能对可疑的接近和交互等前兆行为赋予较高分数;在Explosion004和RoadAccidents012等非以人为中心的异常中,模型也能准确定位;在正常视频Normal006中保持低分数,抑制误报。t-SNE可视化表明,加入跨域对比损失后,正常/异常和动作/HOI特征形成明显分离的簇,增强了类别可分性。

讨论部分指出,VADHOI的跨域设计
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号