基于双向跳帧预测与域内差异驱动的视频异常检测注意力机制研究

【字体: 时间:2025年06月25日 来源:Pattern Recognition 7.5

编辑推荐:

  针对无监督视频异常检测(VAD)中正常与异常事件判别边界模糊的难题,西安理工大学团队提出双向跳帧预测(BiSP)方法,结合方差通道注意力与上下文空间注意力机制,通过训练阶段跳帧策略与测试阶段协同预测扩大域内差异。实验表明该方法在四个基准数据集上显著优于现有技术,为智能监控提供新思路。

  

在智能监控设备爆炸式增长的今天,每天产生的海量视频数据使得人工异常检测变得不切实际。尽管基于计算机视觉的视频异常检测(Video Anomaly Detection, VAD)技术已取得进展,但现有方法仍面临核心挑战:正常与异常事件在特征空间中的判别边界往往模糊不清。传统方法如重建型自编码器(AE)或单帧预测模型,仅依赖单一类型误差进行判断,容易导致误检漏检。更棘手的是,异常事件本身具有低概率性和多样性特点,而监控场景中光照变化、复杂背景等因素进一步加大了检测难度。

西安理工大学的研究团队在《Pattern Recognition》发表的研究中,创新性地提出双向跳帧预测(Bidirectional Skip-frame Prediction, BiSP)框架。该方法通过独特的训练-测试双阶段策略设计,结合双流自编码器结构与新型注意力机制,在UCSD Ped1/Ped2、Avenue和ShanghaiTech四个基准数据集上实现最先进性能,AUROC最高达98.1%。

关键技术方法
研究采用双流自编码器架构,分别处理前向和后向预测任务。训练阶段输入跳帧序列(如I1,3,5预测I?6),测试阶段改用连续帧协同预测中间帧。创新性地设计并行结构的方差通道注意力(Variance Channel Attention)和串行结构的上下文空间注意力(Context Spatial Attention),分别聚焦运动模式差异和物体多尺度特征。实验使用Adam优化器,batch size设为4,在RTX 3090 GPU上实现。

研究结果

  1. 双向跳帧预测框架
    与传统单帧预测输入I1:3→I?4不同,BiSP训练时采用双向跳帧策略(前向I1,3,5→I?6,后向I6,4,2→I?1),测试时改为I1:3与I5:7协同预测I?4。这种设计使正常事件预测误差降低23.7%,而异常事件误差增加41.2%,显著扩大判别边界。

  2. 注意力机制设计
    方差通道注意力通过计算特征图通道间方差,强化运动特征差异的敏感性;上下文空间注意力采用空洞卷积金字塔结构,有效捕捉不同尺度目标特征。消融实验显示双注意力组合使Avenue数据集F1-score提升8.3%。

  3. 跨数据集验证
    在包含多种异常类型的ShanghaiTech数据集上,BiSP的AUROC达96.2%,较次优方法Memorized Normality提高4.5%。特别对快速运动异常(如追逐)的检测精度提升显著,得益于跳帧策略对长时序依赖的建模能力。

结论与展望
该研究通过BiSP框架创新性地解决了无监督VAD中判别边界模糊的核心问题。训练阶段的跳帧策略增强了对正常事件时序规律的学习,测试阶段的协同预测则通过误差叠加效应放大异常特征。两种注意力机制从运动模式和空间尺度两个维度强化了特征判别力,使模型对各类异常的适应能力显著提升。

研究团队同时指出,当前方法仍存在对小目标异常敏感度不足的局限。未来工作将探索多模态数据融合与轻量化设计,以适应实时监控需求。这项研究不仅为智能安防提供新范式,其提出的域内差异驱动思想对医疗影像分析、工业质检等同类任务也具有重要借鉴价值。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号