FRSATPNet:用于多流动作分类的基于特征表示的稀疏动作 Transformer 金字塔网络与结构化动作概率

《Knowledge-Based Systems》:FRSATPNet: Feature Representation Based Sparse Action Transformer Pyramid Network and Structured Action Probability for Multi-Stream Action Classification

【字体: 大 中 小 】 时间:2026年08月29日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   **摘要** 暴力行为检测(VBD)旨在从监控视频中自动识别攻击性动作。然而,传统的基于手工制作的运动方法以及常规的Transformer方法在动态环境中表现不佳,从而导致较高的误报率。本文提出的基于特征表示的稀疏动作Transformer金字塔网络(Feature Rep

  

**摘要**

暴力行为检测(VBD)旨在从监控视频中自动识别攻击性动作。然而,传统的基于手工制作的运动方法以及常规的Transformer方法在动态环境中表现不佳,从而导致较高的误报率。本文提出的基于特征表示的稀疏动作Transformer金字塔网络(Feature Representation-Based Sparse Action Transformer Pyramid Network,FRSATPNet)引入了一个新颖的端到端架构,用于多流监控视频中的VBD。与依赖顺序特征提取或密集Transformer注意力的常规方法不同,FRSATPNet开创了一种"注意力之前先稀疏化"的机制:高维多流特征(空间、时间、运动和轨迹)首先通过字典学习的稀疏编码被投影到一个稀疏动作子空间中,在Transformer处理之前显式地抑制背景噪声和冗余token。该机制与层次化的稀疏动作Transformer金字塔网络(SATPN)相结合,该网络在金字塔的不同层级上执行多尺度时间建模,从而能够同时捕捉短期突发性的暴力动作和长期的交互行为。此外,基于概率图模型的、结构化的概率输出模块提供了具备不确定性感知能力的预测及置信度分数,增强了可解释性。这一统一的稀疏驱动、金字塔注意力与概率框架在杂乱、动态的环境中具有优异的判别能力,同时保持了计算可行性。FRSATPNet在五个基准数据集(即Hockey、Movies、BEHAVE、ViF和KTH)上进行了测试,取得了卓越的性能,准确率分别为:Hockey 99.5%、Movies 99.8%、ViF 97.4%、BEHAVE 98.7%以及KTH 98.5%。所提出的FRSATPNet整合了稀疏特征精化、异构多分支学习以及层次化时空注意力,用于异常活动识别。受控的消融实验评估了稀疏精化和时间金字塔处理各自以及组合的效果。

**引言**

暴力行为检测(VBD)的自动化在现代监控系统中扮演着重要角色,特别是在城市中,这里的首要任务是保障人员安全。随着全球部署的监控摄像头数量迈向十亿级别,分析实时视频的需求急剧增加,全球关键城市如伦敦和上海各自已经拥有超过五十万个摄像头[1]。然而,研究表明,在传统人工监控系统中,约有45%的暴力事件因操作员疲劳和信息过载而未被检测[2]。VBD已成为所有公共基础设施、执法部门以及私人安保领域的重要环节,它能够快速识别肢体攻击或对峙行为,防止其升级[3]。尽管如此,视频监控环境对VBD提出了重大挑战,原因包括光线变化、人群遮挡、相机畸变以及复杂的交互[4]。这些因素使得持续且准确地检测暴力变得困难。人类交互极其微妙,比其他类型的活动更难解释,这促使人们使用先进的深度学习和时空分析方法来区分暴力与非暴力行为[5]。

大多数早期的VBD方法涉及提取低层手工初始化的特征并结合基于规则的系统,通过检查预设的运动模式、明显迹象以及周围环境中的迹象来识别暴力[6]。然而,这些传统方法在监控环境中存在以下缺陷。它们通常难以适应真实环境不断变化和不可预测的特性,导致非常高的误报率和低准确率[7,8]。基于规则方法的弱点之一是,系统难以解释暴力行为中复杂而微妙的差异,因为它们对上下文高度敏感,甚至在不同文化间可能表现各异[9]。此外,传统方法处理当今监控系统所产生的数据往往速度缓慢,这反过来又延缓了事件的识别和处置[10]。这些局限性表明需要基于知识的VBD方法,以及更为复杂灵活、基于机器学习和深度学习的方法,这些方法能够利用大量训练样本来提升监控系统在不同条件下的检测率和稳定性[11,12]。

在视频监控的VBD方面,可以识别出一系列高度发达的特征和算法解决方案,以应对困难复杂场景的具体性。这些方法包括多种策略,从简单的机器学习算法到深度学习算法[13]。以卷积神经网络(CNN)为例,其提取帧的空间特征,使视频分析能够识别出身体动作或其交互中的具有潜在暴力威胁的异常。循环神经网络(RNN)及其衍生形式(如LSTM)在学习定义帧的演变和交互的时间特征方面具有重要意义,从而理解其随时间的发展[14,15]。这些模型伴随着时空特征提取方法,统一空间与时间信息,使VBD系统更准确、更稳定。然而,一些挑战仍然阻碍着VBD在复杂场景中的应用。其中包括光线、天气和遮挡等因素的波动,这些可能会掩盖增强检测所需的可视化关键信号[16,17]。此外,在人类行为和人与人之间的关联方面存在巨大挑战,因为暴力行为可以以多种形式出现,并依赖于周围环境[18,19]。再者,一些实时监控应用需要高复杂度算法;因此,此类系统的实现必须经过优化以实现实时结果[20,21]。

所提出的FRSATPNet为基于视频的低常活动识别引入了一种新颖的"注意力之前先稀疏化"机制,其中显式地在层次化时空注意力之前执行稀疏动作精化。与直接将注意力应用于密集多流特征表示的常规架构不同,FRSATPNet首先将异构的视觉、时间、运动、轮廓和轨迹特征转换成一个紧凑的稀疏动作表示,以在注意力计算之前抑制冗余及背景主导的响应。随后,该精化后的表示由所提出的稀疏动作Transformer金字塔网络(SATPN)处理,该网络采用层次化多尺度时间建模,以同时捕捉短期突发性动作和长期行为交互。因此,关键的方法创新在于所提出的稀疏动作精化与层次化时间注意力的排序与交互,这使得注意力操作能够聚焦于与动作相关的表示,而非冗余的场景信息。此外,所提出的框架纳入了并行的异构特征表示和结构化的概率输出,以增强互补的特征学习并提供可解释的动作概率和置信度估计。所提出的"注意力之前先稀疏化"机制与层次化时间建模的有效性通过受控的消融实验得到了系统验证,这些实验分别评估了稀疏精化、时间金字塔处理、注意力建模及其组合配置。因此,FRSATPNet的贡献在于所提出的"注意力之前先稀疏化"机制、层次化稀疏动作时间建模策略,以及它们在复杂杂乱监控环境中进行鲁棒的异常活动识别方面经过实验验证的有效性。

**主要贡献**

本工作旨在开发一个名为FRSATPNet的鲁棒VBD框架,用于在复杂的动作多流视频环境中检测暴力行为。它专注于促进对快速而微妙的运动的检测,这是暴力行为的典型特征,以及各种视频场景中的空间、时间和运动-轨迹特征。

• FRSATPNet是一个新颖的统一框架,在Transformer金字塔架构中引入了"注意力之前先稀疏化"的机制,用于多流暴力行为检测。该机制将多分支特征(空间、时间、运动和轨迹)在注意力之前投影到稀疏动作子空间,从根本上减少噪声和注意力弥散。

• 我们采用基于金字塔式Lucas-Kanade光流、时间差分以及运动放大的多尺度运动增强预处理策略,以提高微妙运动模式的可见性。其对整体识别性能的贡献通过消融和敏感性实验进行定量评估,而非将其作为新的光流估计算法提出。

• 并行多分支特征表示模块同时提取并稀疏融合异构特征,使用VGGNet、TCN、运动轮廓和轨迹跟踪。这种联合学习结合基于字典的稀疏编码,比先前工作中常见的顺序流程产生更具判别力的表示。

• 稀疏动作Transformer金字塔网络(SATPN)带有层次化多尺度时间建模,能够通过金字塔层级和跨尺度特征融合有效地捕捉突发性短期和持续性长期的暴力交互。

• 基于概率图模型的结构化概率输出模块不仅能分类暴力/非暴力动作,还提供可解释的置信度分数和动作概率分布,弥补了大多数现有VBD系统缺乏不确定性感知能力的不足。

仿真结果显示,FRSATPNet模型在所有数据集(Hockey、Movies、BEHAVE、ViF和KTH)上取得了98%的高F1分数,在召回率和精确率之间取得了良好的平衡,其中误报被最小化,整体暴力检测准确率得到提升。

本文的其余部分按以下方式组织:第二节回顾了与暴力检测方法近期进展相关的已有工作。第三节概述了所提出的FRSATPNet模型的架构和模块。第四节展示了实验场景、结果以及对模型性能的讨论。最后,第五节是论文的结论,以及对未来研究方向的讨论。

**部分片段**

**相关工作**

本部分介绍了考虑基于视频的暴力检测问题的最新暴力检测方法的发展,其在下文讨论的不同数据集上在准确率、实时性能和模型韧性方面均有进步:Mohammadi和Nazerfard[22]提出了一种基于强化学习的半监督硬注意力机制(SSHA),并在视频暴力检测中取得了显著进展。该模型表现出更好的训练效率和稳定性,通过……

**提出的复杂动作分类模型**

所提出的FRSATPNet提出了一种新颖的复杂动作分类模型,用于处理多流视频中的暴力和非暴力动作情况。其新颖性在于在层次化金字塔结构中,在Transformer注意力之前引入的稀疏约束动作映射,以及并行多分支特征学习和结构化概率输出。它包含四个基本步骤:运动增强预处理、并行多分支特征表示……

**实验与结果**

本节描述了FRSATPNet模型的实验配置和测试,用于在多个数据集上识别暴力动作。它包括准确率、精确率、召回率和F1分数等性能度量,以衡量我们的模型表现的好坏。

**结论**

本文提出了FRSATPNet,一个用于暴力行为检测的新颖框架,集成了多个开创性组件:Transformer金字塔中的"注意力之前先稀疏化"、并行多分支稀疏特征融合,以及结构化概率输出。这些创新共同解决了先前方法的关键局限,如注意力弥散、顺序特征处理以及缺乏可解释性,从而在多个基准上取得了卓越的性能。本……

**符合伦理标准**

伦理批准:本文不包含由作者进行的任何涉及人类参与者和/或动物的研究。

知情同意:本研究无需知情同意。

**作者贡献**

所有作者均参与了论文写作并修订了最终版本。所有作者阅读并批准了最终手稿。

**资助**

本研究没有获得任何资助。

**CRediT作者贡献声明**

Barun Pandey:撰写——初稿、方法论、形式分析、概念化。

Upasana Sinha:资源、方法论、调查研究、概念化。

**利益冲突声明**

作者声明他们没有利益冲突。

Barun Pandey | Upasana Sinha
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号