具有改进的自编码器的时空自适应扩散网络,用于视频异常检测
《Neurocomputing》:Spatio-temporal adaptive diffusion network with improved autoencoder for video anomaly detection
【字体:
大
中
小
】
时间:2026年05月08日
来源:Neurocomputing 6.5
编辑推荐:
张鸿民|严丁丁|左坤|天倩倩
重庆理工大学电气与电子工程学院,中国重庆,400054
摘要
图卷积网络在视频异常检测中得到了广泛应用,因为它能够模拟网络节点之间的相关性。然而,现有的方法通常依赖于预定义的邻接矩阵,这些矩阵无法准确捕捉运动过程中由于异常变化导致的身体骨骼关节之
张鸿民|严丁丁|左坤|天倩倩
重庆理工大学电气与电子工程学院,中国重庆,400054
摘要
图卷积网络在视频异常检测中得到了广泛应用,因为它能够模拟网络节点之间的相关性。然而,现有的方法通常依赖于预定义的邻接矩阵,这些矩阵无法准确捕捉运动过程中由于异常变化导致的身体骨骼关节之间的复杂动态关系。为了解决这一限制,我们提出了一个名为ST-ADN的新框架,该框架将时空建模与扩散模型相结合。该框架集成了一个改进的自动编码器模块,用于条件编码历史姿态序列,从而有效地学习与正常活动相关的时空和行为特征。接下来,我们设计了一个时空嵌入模块,该模块采用自适应骨骼图结构,动态地从历史和未来姿态数据中提取和融合时空嵌入,并减少了由于时间特征差异引起的错误。此外,还利用扩散模型重建噪声未来的姿态序列,从而提高了检测复杂动态行为的能力。与最先进的方法相比,我们提出的方法在三个公开数据集HR-Avenue、HR-STC和HR-UBnormal上的异常检测性能取得了竞争力提升,分别获得了92.2%、79.2%和69.7%的AUC。
引言
目前,基于视频的人类异常行为识别和检测已在各个领域得到广泛应用,包括医疗监控、交通监控和公共安全[1]。基于图的方法通过构建人类骨骼图并利用这些图形成姿态序列来表示不同的行为,从而实现行为的建模和分析。这些方法能够有效建模人类动作,并对光照变化、视角差异和背景变化等干扰具有鲁棒性。然而,人类行为本身涉及复杂的空间结构,传统的基于图的方法,特别是在权重设置方面,往往无法完全捕捉这些复杂的空间关系,从而限制了准确率。目前,图结构中的权重通常是根据人类关节之间的几何距离或空间位置计算的。因此,在异常条件下的复杂动作中,关节之间的相互作用可能会因不寻常的变化而偏离预期模式。结果,预定义的骨骼图结构可能无法有效适应这些变化[2]。这些相互作用在整个运动过程中不断演变,与静态场景中观察到的正常关节关系相比,它们表现出复杂性和非线性。此外,现有方法通常优先提取局部空间依赖性,而忽略了全局空间依赖性。此外,人类姿态序列还涉及时间依赖性和行为模式的时间多样性。检测需要同时考虑短时间内的局部动作特征和长时间内的行为变化模式[3]。
为了解决这些问题,扩散模型提供了一种新的研究方法。通过将时空节点(如人体关节位置和时间步长的组合)和边权重纳入图结构,扩散模型可以同时捕获时间和空间特征。这使得通过扩散过程逐渐识别不同关节位置之间的空间相关性以及连续时间步长之间发生的动态变化成为可能[4]。尽管扩散模型已广泛应用于图像和视频合成领域,但其在视频异常检测中的应用仍需要进一步研究[5]、[6]。基于此,我们提出了一个时空自适应扩散网络(ST-ADN),该网络集成了一个改进的自动编码器。该方法利用改进的自动编码器模块条件编码历史姿态序列,从而学习正常活动的时空和行为特征。此外,我们构建了一个时空嵌入网络,该网络整合了历史和未来的时空嵌入,以减轻由于时间特征差异引起的错误,进一步提高未来序列的重建质量。在此基础上,利用扩散模型重建噪声未来的姿态序列,从而提高对复杂动态行为的检测能力。
部分摘录
相关工作
视频异常检测方法通常可以分为四类:基于重建的方法、基于预测的方法、基于分类的方法和混合方法。早期研究主要依赖于从原始视频帧中提取的外观或运动特征,而最近的方法越来越多地转向结构化表示,如轨迹和骨骼,以捕获更具辨别力的时空信息。其中,基于图的异常检测方法对视频进行建模
提出的方法
假设单个行人执行的一系列连续动作构成一个姿态序列(以下简称)。为每个姿态构建一个图,其中V表示当前行人的关键关节集,A表示这些关键关节之间的连接。每个关键关节包含相应的2D空间坐标,因此定义了和。序列X被分为两部分:无干扰的历史姿态序列和
实验
ST-ADN在三个公共异常检测数据集上进行了评估:CUHK Avenue [33]、ShanghaiTech [34] 和 UBnormal [35],特别是它们的与人类相关的版本。该模型的性能进行了分析,并与主流方法进行了比较。
结论
为了准确捕捉人类骨骼关节之间的复杂关系,并提高模型处理在实际场景中常见的复杂异常行为的能力,我们提出了一种将时空编码与扩散模型相结合的视频异常检测方法。利用改进的自动编码器模块,历史姿态序列被条件编码,并与STE模块和扩散模型结合,以重建噪声未来的姿态序列
CRediT作者贡献声明
张鸿民:撰写 – 审稿与编辑、监督、资金获取、概念化。严丁丁:撰写 – 审稿与编辑、初稿撰写、可视化、验证、方法论、调查、正式分析、数据管理、概念化。左坤:撰写 – 审稿与编辑、初稿撰写、可视化。天倩倩:撰写 – 审稿与编辑。
利益冲突声明
作者声明他们没有任何已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了重庆市自然科学基金重点项目(cstc2021 jcyj-msxmX0525, CSTB2022NSCQ-MSX0786, CSTB2023NSCQ-MSX0911)和重庆市教委科研项目(KJQN202201109)的资助。
张鸿民(1970-),男,博士,教授,主要研究方向为图像处理和模式识别。电子邮件:hmzhang@cqut.edu.cn
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号