
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于双向跳帧预测与域内差异驱动的视频异常检测注意力机制研究
【字体: 大 中 小 】 时间:2025年06月25日 来源:Pattern Recognition 7.5
编辑推荐:
针对无监督视频异常检测(VAD)中正常与异常事件判别边界模糊的难题,西安理工大学团队提出双向跳帧预测(BiSP)方法,结合方差通道注意力与上下文空间注意力机制,通过训练阶段跳帧策略与测试阶段协同预测扩大域内差异。实验表明该方法在四个基准数据集上显著优于现有技术,为智能监控提供新思路。
在智能监控设备爆炸式增长的今天,每天产生的海量视频数据使得人工异常检测变得不切实际。尽管基于计算机视觉的视频异常检测(Video Anomaly Detection, VAD)技术已取得进展,但现有方法仍面临核心挑战:正常与异常事件在特征空间中的判别边界往往模糊不清。传统方法如重建型自编码器(AE)或单帧预测模型,仅依赖单一类型误差进行判断,容易导致误检漏检。更棘手的是,异常事件本身具有低概率性和多样性特点,而监控场景中光照变化、复杂背景等因素进一步加大了检测难度。
西安理工大学的研究团队在《Pattern Recognition》发表的研究中,创新性地提出双向跳帧预测(Bidirectional Skip-frame Prediction, BiSP)框架。该方法通过独特的训练-测试双阶段策略设计,结合双流自编码器结构与新型注意力机制,在UCSD Ped1/Ped2、Avenue和ShanghaiTech四个基准数据集上实现最先进性能,AUROC最高达98.1%。
关键技术方法
研究采用双流自编码器架构,分别处理前向和后向预测任务。训练阶段输入跳帧序列(如I1,3,5预测I?6),测试阶段改用连续帧协同预测中间帧。创新性地设计并行结构的方差通道注意力(Variance Channel Attention)和串行结构的上下文空间注意力(Context Spatial Attention),分别聚焦运动模式差异和物体多尺度特征。实验使用Adam优化器,batch size设为4,在RTX 3090 GPU上实现。
研究结果
双向跳帧预测框架
与传统单帧预测输入I1:3→I?4不同,BiSP训练时采用双向跳帧策略(前向I1,3,5→I?6,后向I6,4,2→I?1),测试时改为I1:3与I5:7协同预测I?4。这种设计使正常事件预测误差降低23.7%,而异常事件误差增加41.2%,显著扩大判别边界。
注意力机制设计
方差通道注意力通过计算特征图通道间方差,强化运动特征差异的敏感性;上下文空间注意力采用空洞卷积金字塔结构,有效捕捉不同尺度目标特征。消融实验显示双注意力组合使Avenue数据集F1-score提升8.3%。
跨数据集验证
在包含多种异常类型的ShanghaiTech数据集上,BiSP的AUROC达96.2%,较次优方法Memorized Normality提高4.5%。特别对快速运动异常(如追逐)的检测精度提升显著,得益于跳帧策略对长时序依赖的建模能力。
结论与展望
该研究通过BiSP框架创新性地解决了无监督VAD中判别边界模糊的核心问题。训练阶段的跳帧策略增强了对正常事件时序规律的学习,测试阶段的协同预测则通过误差叠加效应放大异常特征。两种注意力机制从运动模式和空间尺度两个维度强化了特征判别力,使模型对各类异常的适应能力显著提升。
研究团队同时指出,当前方法仍存在对小目标异常敏感度不足的局限。未来工作将探索多模态数据融合与轻量化设计,以适应实时监控需求。这项研究不仅为智能安防提供新范式,其提出的域内差异驱动思想对医疗影像分析、工业质检等同类任务也具有重要借鉴价值。
生物通微信公众号
知名企业招聘