STC-CPNet:面向异常人群动态识别的自监督时空对比预训练

《Knowledge-Based Systems》:STC-CPNet: Self-supervised spatio-temporal contrastive pretraining for abnormal crowd dynamics recognition

【字体: 大 中 小 】 时间:2026年09月23日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   - 面向人群异常的自监督时空对比预训练 - VideoMAE从无标记视频中学习场景不变的人群运动 - 马氏距离评分实现轻量级无标签异常检测 - 在视角变化、遮挡和密度波动条件下表现鲁棒 - 达到97.8%的AUC,相比近期方法F1分数提升7.4% **引言** 城市人口的

  

- 面向人群异常的自监督时空对比预训练
- VideoMAE从无标记视频中学习场景不变的人群运动
- 马氏距离评分实现轻量级无标签异常检测
- 在视角变化、遮挡和密度波动条件下表现鲁棒
- 达到97.8%的AUC,相比近期方法F1分数提升7.4%

**引言**

城市人口的指数级增长和公共空间的复杂性对监控系统的改进提出了迫切需求,以确保公共安全[1]。踩踏、恐慌性溃散、暴力冲突和非法集会属于异常人群动态,是当前智能监控系统必须检测的异常行为[2]。2022年首尔万圣节踩踏事故造成159人死亡,2021年梅龙体育场踩踏事件造成45人死亡[3]。这些死亡事件凸显了自动预警系统对灾害发生前检测异常人群动态的必要性。全球范围内,约十亿台安防摄像头每天产生数千亿字节的视频数据[4]。人类的注意力跨度有限、易疲劳,且同时追踪多个摄像头画面中数百人的认知负荷极大,使得人工视频流监控十分困难。自动化深度学习视频分析是可行的[5]。然而,如何有效地标注数据、跨场景泛化,以及对真实世界中的人群密度、摄像头角度和环境条件保持鲁棒性,仍是技术挑战[6]。区分视频中的异常人群动态与目标或动作识别至关重要。标准视频分析识别的是明确的事件,而人群异常检测在整个系统构建过程中都具有模糊性[7]。在识别偏离之前,模型必须先获得典型人群动态的强表征,因为"异常"是相对于场景特定的正常行为而言的[8]。在[9]中,提出了一种基于掩蔽区域差异的方法来检测校园监控中的不安全行为,能够在遮挡条件下有效识别突然和渐进的人群异常。

设$\mathcal{V} = \{V_1, V_2, \ldots, V_N\}$表示一组包含正常人群行为的无标签监控视频集合。每个视频$V_i$被划分为短时时空片段$X_i \in \mathbb{R}^{T \times H \times W \times C}$[10]。目标是学习一个时空表征函数$f_\theta: \mathbb{R}^{T \times H \times W \times C} \to \mathbb{R}^d$,将每个片段$X_i$映射为$d$维嵌入$z_i = f_\theta(X_i)$,捕捉人群运动的内在动态[11]。学习到的嵌入空间必须保持时间一致性,使得相邻正常片段的嵌入满足$\cos(z_i, z_{i+1}) \to 1$,而经过空间或时间扰动的片段嵌入满足$\cos(z_i, z_j) \ll 1$。此外,表征应在跨场景中保持不变,对于源场景$s$和目标场景$t$,有$z_i^{(s)} \approx z_i^{(t)}$,且无需域适应。异常人群行为被识别为相对于正常嵌入分布$\mathcal{N}(\mu, \Sigma)$的统计偏离,使用距离函数$D(z_i, \mu, \Sigma)$进行量化。

学习和检测过程完全在无人工标注的条件下运行,并且必须支持低延迟推理,以满足实际大规模监控部署的需求[12]。视频异常检测虽有改进,但真实世界中的监控系统仍然难以检测异常人群动态。由于人群异常事件频率低、多样性高且标注成本巨大,有监督和非监督方法需要大量标注数据,这在实践中是不现实的[13]。在[14]中开发了一种改进的伪装检测技术,用于大规模图像和视频,利用最小边界对比度。该方法增强了与背景无缝融合的目标的识别能力,克服了传统方法的局限性。由于伪装使识别变得困难,该策略有助于安防监控、野生动物监测和军事应用。许多技术依赖受限的时间建模,难以检测日益增加的异常。基于误差的重建异常评分技术可能会错误地将复杂但正常的活动判定为异常[15]。这些方法在统计上较为薄弱。

鉴于上述问题,大规模监控需要自监督方法。该系统应能够开发判别性的时空人群表征、预测长程动态、跨场景泛化,并发现具有统计依据的无标签异常。STC-CPNet是一个用于人群动态检测的自监督系统,通过时空对比预训练克服了这些限制。

本研究的主要贡献如下:
- 开发了一个完全自监督的时空对比预训练框架,直接从无标签监控视频中学习异常人群动态,消除了对人工标注的依赖。
- 通过将基于VideoMAE的掩蔽时空编码与对比学习相结合,在时间一致且经过扰动的视频子片段之间学习场景不变且具有判别性的人群运动表征。
- 通过迁移预训练表征到一个轻量级基于马氏距离的异常评分机制,实现高效无标签异常检测,无需重新训练分类器。
- 通过在标准监控数据集上的大量实验验证了跨多样人群场景的鲁棒性和泛化能力,证明了在视角变化、遮挡和不同人群密度下检测准确率的提升。

本文其余部分安排如下:第2节回顾相关工作,第3节介绍所提方法,第4节通过实验结果和讨论评估性能,第5节给出研究结论、未来方向及局限性。

**相关工作节选**

Veesam等人[16]提出了一种利用多摄像头时空信息的深度学习系统,用于检测拥堵城市区域的异常行为。该系统解决了遮挡和计算效率问题。多尺度图注意力网络将假阳性率降低了30%,基于强化学习的动态摄像头注意力Transformer优化了关注区域,将计算开销降低了40%,并将召回率提高了15%。神经形态事件编码则降低了……

**STC-CPNet框架概述**

时空对比人群预训练网络(STC-CPNet)利用自监督学习识别异常人群动态,无需人工标注。通过掩蔽自编码器提取时空特征,通过时间一致性建模创建对比表征,并利用分布距离度量识别统计异常。图1展示了STC-CPNet架构流程:异常评分、特征提取、对比学习和原始……

**实验设置**

所提出的STC-CPNet系统在多个基准人群监控数据集上进行了严格测试,以检测真实场景中的异常人群动态。最大的数据集是CADG24[32],包含来自零售商场、公共广场和交通枢纽的无标签监控录像。CADG24是一个包含8.6×10?个时间帧的数据集,空间分辨率为224×224像素,具有三个颜色通道,非常适合测试自监督学习系统。部分基准数据集……

**结论**

本文提出了时空对比人群预训练网络(STC-CPNet),这是一种独特的自监督架构,旨在解决识别异常人群动态这一挑战性问题。STC-CPNet通过利用来自VideoMAE的掩蔽时空编码和对比学习,在无标注数据条件下学习场景不变且具有判别性的人群运动表征。基于马氏距离的异常检测能够快速地推断异常,无需分类器……

**资助信息**

本研究由浙江树人大学横向课题(资助编号:2026KJ110)、浙江省大学生科技创新计划项目(新苗人才计划)(编号:2025R421A011)以及国家大学生创新创业训练计划项目(编号:202511842072X)资助。

**CRediT作者贡献声明**

李浩泽:撰写–审阅与编辑,撰写–初稿,可视化,验证,形式化分析,数据整理。

朱敏:撰写–审阅与编辑,撰写–初稿,可视化,验证,资源获取,方法论,形式化分析,概念构思。

**利益冲突声明**

作者声明不存在利益冲突。

李浩泽 | 朱敏
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号