STAR Block:一种用于动作质量评估的自适应时空重新校准方法

《Computer Vision and Image Understanding》:STAR Block: Adaptive spatio-temporal recalibration for action quality assessment

【字体: 大 中 小 】 时间:2026年01月13日 来源:Computer Vision and Image Understanding 3.5

编辑推荐:

  动作质量评估(AQA)需联合建模时空动态与语义结构,现有静态单分支架构难以平衡局部细节与全局节奏依赖。本文提出STAR Block创新模块,通过多尺度上下文编码器(MSCE)捕捉局部运动细节,轴向注意力全局依赖建模分支(GDMB)提取长时程关系,动态注意力引导特征融合机制(AFFM)自适应调整局部与全局信息权重。实验表明STAR Block在AQA-7、MTL-AQA和FR-FS基准上显著优于SOTA方法,Spearman相关系数提升1.56%,预测误差降低。

  
孙俊浩|赵兰飞
中国哈尔滨市哈尔滨科技大学,黑龙江省人工智能重点实验室,邮编150080

摘要

动作质量评估(AQA)旨在定量评估复杂人类动作的执行质量,这一任务由于需要同时建模时空动态和语义结构而面临重大挑战。现有方法通常依赖于静态的单分支架构,这限制了它们在处理局部细节与全局节奏依赖性方面的能力,尤其是在高复杂度场景中。为了解决这些限制,我们提出了一种新颖的时空自适应重校准(STAR)模块,该模块通过多维建模策略实现了高度区分性的表示学习。具体而言,我们首先设计了一个多尺度上下文编码器,利用空间、时间和联合域的并行卷积来捕捉微妙的局部线索,从而增强对运动细节和短期动态的感知。其次,我们引入了一个基于轴向注意力的全局依赖性建模模块,该模块在保持原始时空结构的同时高效捕捉长距离时间关系,从而加深了对相位一致性和运动节奏的理解。第三,我们提出了一种动态注意力引导的自适应特征融合机制,通过为局部和全局表示分配自适应权重来整合多路径时间语义,实现时间建模中的动态平衡。在多个评估指标上,我们的STAR模块表现出显著优于现有方法的性能,平均Spearman相关性提高了1.56%(在AQA-7上),0.57%(在带有DD监督的MTL-AQA上),以及在FR-FS任务上达到了接近完美的99.52%准确率。

引言

动作质量评估(AQA)(Li等人,2018年)是视频理解领域中的一个新兴任务,旨在自动评估动作执行的准确性,例如在潜水、体操或外科手术等场景中。通过使用标准化和客观的评分标准,AQA系统减少了人为主观性和公平性问题,并为技能提升提供了有用的反馈。由于这些优势,AQA在体育表现分析(Gordon,1995年;Carreira和Zisserman,2017年;Pirsiavash等人,2014年)、医疗程序评估(Zhang和Li,2015年;Zhou等人,2023a;Zhang和Li,2011年)以及技能等级认证(Doughty等人,2018年;Doughty等人,2019年)等领域展现了巨大潜力。
与传统的动作识别任务(Ji等人,2013年;Wang等人,2016年;Li等人,2019年)不同,AQA需要理解动作执行的准确性而不仅仅是识别其类别。细微的执行差异往往会导致评分的巨大变化,因此AQA模型必须同时捕捉反映流畅性、节奏和整体控制的细粒度局部信息和全局信息。
然而,现有方法(Yu等人,2021a;Li等人,2023年;Xu等人,2022年)仍然难以以统一和灵活的方式对局部和全局信息进行建模。例如,基于3D CNN的模型可以提取短期局部信息,但往往无法捕捉对理解动作整体结构至关重要的全局信息。这种不平衡削弱了它们在不同动作类别和执行风格上的泛化能力。因此,在AQA中动态整合多尺度时间信息并自适应平衡局部和全局信息仍然是一个关键挑战。
最近的AQA研究探索了几个方向。基于图的方法通过建模动作片段之间的关系来减少歧义。基于回归的方法从视频级特征中学习与评分相关的表示。基于注意力的方法通过自注意力捕捉全局信息。尽管这些方法提高了AQA的性能,但它们在结合局部和全局信息时通常依赖于固定的融合策略,这限制了它们处理多样化运动模式的能力。更近期的工作,包括CoFInAl(Zhou等人,2024a)、MAGR(Zhou等人,2024b)和PHI(Zhou等人,2025),解决了标签稀疏性、持续领域漂移和特征领域不匹配等问题。虽然这些方法在各自的问题维度上取得了重要进展,但它们并没有明确关注在统一的多尺度时间建模框架内自适应整合局部和全局信息,而这对于实际应用中的AQA来说仍然至关重要。
为了解决这一限制,我们引入了时空自适应重校准(STAR)模块,这是一个专门为AQA设计的统一模块。STAR模块包含三个关键组成部分:
(1)多尺度上下文编码器(MSCE),用于提取详细的局部运动线索;
(2)全局依赖性建模分支(GDMB),利用轴向注意力学习全局信息;
(3)自适应特征融合机制(AFFM),根据每个输入视频的特点进行实例感知的重校准,以调整局部和全局信息的相对重要性。
通过这种设计,STAR模块能够自适应地整合多尺度时间信息,并处理各种动作类型和执行风格。
我们在三个广泛使用的AQA基准测试上评估了我们的方法:MTL-AQA(Parmar和Morris,2019b)、AQA-7(Parmar和Morris,2019a)以及FR-FS(Wang等人,2021)。结果表明,在Spearman等级相关性和评分预测误差方面都有了一致的改进。我们的方法在细粒度评分、跨类别泛化和复杂运动建模方面表现尤为突出。
本工作的主要贡献如下:
  • 1.
    我们提出了STAR模块,这是一个针对AQA独特建模挑战量身定制的新模块。它为联合建模局部信息和全局信息提供了有效的解决方案,解决了现有方法共有的一个关键限制。
  • 2.
    我们引入了一种自适应特征重校准机制,根据输入的特点调整局部和全局信息之间的平衡。该机制提高了在复杂动作、多样动作类别和不同执行风格下的泛化能力,从而在多个数据集上实现了更稳健的性能。

相关工作

AQA利用计算机视觉技术自动评估动作执行的准确性。它已广泛应用于体育分析、康复训练和外科教育等领域。随着深度学习的快速发展,近年来AQA方法的性能显著提高。已经提出了多种方法来完成这一任务,这些方法可以根据其主要研究重点进行广泛分类,包括特征提取等。

STAR模块概述

我们的方法基于I3D框架进行时空特征提取。为了在动作质量评估中联合建模局部和全局时空信息,我们在I3D的高级特征阶段在Mixed-4f块之后插入了STAR模块。然后,将增强后的特征输入回归模块以预测最终的动作质量分数。整个框架如图2所示,其组成部分如下所述。
在特征提取阶段,每个视频

实验

在本节中,我们简要介绍了实验的设置方式。

结论

在本文中,我们提出了STAR作为一个统一的表示增强框架,用于AQA,它通过三个互补的模块解决了局部信息建模与全局信息建模之间的长期不平衡问题。STAR不仅改进了AQA流程的单一阶段,还共同增强了特征提取和聚合以及分数学习,为动作质量评估提供了连贯且合理的解决方案。在多个实验中的广泛验证表明

CRediT作者贡献声明

孙俊浩:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,软件,方法论,数据管理。赵兰飞:撰写 – 审稿与编辑,监督,项目管理,方法论。

资金支持

本工作未获得任何公共、商业或非营利组织的资助。

利益冲突声明

作者声明他们没有已知的可能会影响本文所报告工作的竞争性财务利益或个人关系。

致谢

作者衷心感谢赵兰飞教授的专业指导和技术支持,特别是在实验设计和方法论验证阶段提供的宝贵建议。我们对他的专业贡献表示衷心的感谢。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号