通过多层次动作差异学习提升动作质量评估

《Neural Networks》：Enhancing Action Quality Assessment via Multi-Level Action Difference Learning

　　

# 动作质量评估

## 摘要

抽象动作质量评估（Abstract Action Quality Assessment, AQA）是细粒度视频理解中的关键任务，在体育分析、技能训练和康复等领域具有广泛应用。其核心挑战在于从低类内区分度的视频中辨别细微的动作差异。尽管近期方法取得了一定进展，但它们主要依赖全局池化特征来建模细粒度语义。这种方法存在一个根本性的瓶颈——全局表示往往会平滑掉那些能够区分动作质量的关键局部时间变化和空间细节。为了解决这一问题，我们提出了一种新颖的多层次动作差异学习（Multi-level Action Difference Learning, MADL）框架。不同于从单一全局视角提炼信息，MADL在全局、时间和空间层次上系统地进行由粗到细的动作差异对比，提供全面的评估。此外，我们提出了时序对齐视频编码器（Temporal Alignment Video Encoder, TAVE），集成了上下文相关的时序动态自适应机制，促进动作对比的时序匹配。为了增强多层次表示的区分能力，我们设计了全局引导特征精炼模块（Global-guided Feature Refinement Module, GFRM），通过全局特征引导优化细粒度表示。在五个公开基准（FineDiving、MTL-AQA、JIGSAWS、艺术体操和Fis-V）上的大量实验表明，我们的方法在短期和长期评估任务上均达到了最先进的性能。源代码将公开于 https://github.com/XuHuangbiao/MADL。

## 引言

动作质量评估（AQA）旨在为特定动作提供客观的表现度量，是细粒度人类动作分析的关键技术。该技术有望减轻主观判断偏差，因此已成为高度关注的研究主题，应用范围广泛，涵盖医疗康复（Gao, Pan, Zhang, Zheng, 2023, Gao, Vedula, Reiley, Ahmidi, Varadarajan, Lin, Tao, Zappella, Béjar, Yuh, et al., 2014）到体育竞赛（Bai, Zhou, Zhang, Wang, Ding, Guan, Long, Wang, 2022, Xu, Ke, Wu, Xu, Li, Guo, 2025a, Xu, Wu, Ke, Li, Xu, Guo, 2025c, Xu, Wu, Ke, & Peng, Xu, Wu, Ke, Wu, Xu, Xu, 2026b）以及技能判定（Xu, Ke, Wu, Xu, Li, Xu, Guo, 2025b, Zhang, Pan, Gao, Zheng, 2024b）。与标准的动作识别和检测（Chen, Wang, Sun, Yang, Wei, 2025, Dong, Liu, Wang, Zhang, Zhao, 2025, Gao, Liu, Guan, 2025, Li, Wang, Dong, 2025, Wu, Wu, Xu, Kittler, 2025）不同——后者分类视觉上不同的动作类别，AQA则在低类内区分度的场景下运行。核心挑战在于辨别同一动作类别内导致显著分数变化的细微执行差异，这使得AQA本质上是一项更具挑战性的任务。

早期的AQA方法（Gao, Pan, Zhang, Zheng, 2023, Pan, Gao, Zheng, 2019, Pirsiavash, Vondrick, Torralba, 2014, Xu, Ke, Wu, Xu, Li, Xu, Guo, 2025b）专注于提取运动员的姿态特征。然而，由于体育场景中身体姿态变化显著，姿态往往难以获取且不准确（Wang, Yang, Zhai, Chen, Zhang, 2021, Zhou, Cai, Wang, Shum, Liang, 2026）。此外，姿态特征忽略了影响评分的重要非身体因素，例如跳水中的水花。因此，近期工作（Tang, Ni, Zhou, Zhang, Lu, Wu, Zhou, 2020, Xu, Fu, Zhang, Chen, Jiang, Xue, 2019, Zhou, Ma, Shum, Liang, 2023）基于视觉特征回归分数。这些方法通常采用在大规模动作数据集上预训练的骨干网络（如I3D（Carreira and Zisserman, 2017）和VST（Liu et al., 2022））作为视觉特征提取器。提取的特征经过增强和聚合后，最终用于回归分数。该领域的一个重要进展是对比回归的采用（Bai, Zhou, Zhang, Wang, Ding, Guan, Long, Wang, 2022, Jain, Harit, Sharma, 2020, Ke, Xu, Lin, Guo, 2024, Xu, Rao, Yu, Chen, Zhou, Lu, 2022b, Yu, Rao, Zhao, Lu, Zhou, 2021），它将该任务重新定义为预测一对视频之间的相对分数。这种范式简化了学习目标，并被证明在突出细微差异方面非常有效。

然而，尽管取得了成功，这些最先进的方法中仍然存在一个关键的局限性。如图1（a）所示，它们主要基于视频级别或片段级别的全局特征来建模细粒度动作语义（Bai, Zhou, Zhang, Wang, Ding, Guan, Long, Wang, 2022, Gao, Yu, Iqbal, Guizani, 2024, Gedamu, Ji, Yang, Shao, Shen, 2025, Ke, Xu, Lin, Guo, 2024, Xu, Rao, Yu, Chen, Zhou, Lu, 2022b, Yu, Rao, Zhao, Lu, Zhou, 2021, Zhou, Ma, Shum, Liang, 2023）。这种对单一聚合向量的依赖造成了一个根本性的瓶颈，因为全局池化不可避免地会平均掉那些区分优秀表现与卓越表现的关键细节。对于AQA而言，决定性因素往往不在于整体运动模式，而是嵌入在子动作的细粒度时间变化（例如起跳与入水时机的对比）和微妙的局部空间细节（例如肢体姿态、屈伸角度和水花大小）中。仅依赖全局特征迫使模型从被稀释的表示中学习，存在过度关注虚假相关性（如背景或整体运动风格）而非关键执行错误的风险。图2中的热力图（集成梯度法（Sundararajan et al., 2017））提供了这一失效的直接证据。这些热力图揭示了现有模型（Bai, Zhou, Zhang, Wang, Ding, Guan, Long, Wang, 2022, Ke, Xu, Lin, Guo, 2024, Yu, Rao, Zhao, Lu, Zhou, 2021, Zhou, Ma, Shum, Liang, 2023）缺乏探索这一多层次差异空间的系统机制，导致对关键局部细节的关注不足。

此外，动作视频天然包含全局、时间和空间维度的丰富多层次信息，具有从基本运动到高层动作模式的层次化特征。利用这些多样化的特征可以实现更全面、更准确的AQA。尽管层次化特征学习在其他视觉任务中已经确立（Li, Wang, Dong, 2025, Wu, Wu, Xu, Kittler, 2025），但其在AQA中的应用并非显而易见。大多数现有方法依赖骨骼数据，而这在AQA场景中往往不可靠（Wang, Yang, Zhai, Chen, Zhang, 2021, Zhou, Cai, Wang, Shum, Liang, 2026），更重要的是，它们并非为质量评估的比较性质而设计。

基于上述洞察，我们认为，在全局特征比较的基础上补充结构化的多层次差异分析，可以提供更全面的评估。受神经科学中人类感知层次化特性的启发（Bill, Pailian, Gershman, Drugowitsch, 2020, Giese, Poggio, 2003），我们提出了一种用于AQA的多层次动作差异学习（MADL）框架。基于鲁棒的对比回归范式（Bai, Zhou, Zhang, Wang, Ding, Guan, Long, Wang, 2022, Ke, Xu, Lin, Guo, 2024, Xu, Ke, Li, Xu, Wu, Lin, Guo, 2024a, Xu, Rao, Yu, Chen, Zhou, Lu, 2022b, Yu, Rao, Zhao, Lu, Zhou, 2021），MADL系统地将被查询视频与示例视频之间的比较分解为三个关键层次：全局对比、时间对比和空间对比（图1（b））。这种由粗到细的策略旨在不仅捕获整体表现，还能捕获对细致评估至关重要的细粒度时间动态和空间特性。

为使该框架得以实现并解决AQA特有的挑战，我们引入了两项关键技术贡献。首先，多层次差异对比的核心前提在于对应子动作的有效对齐。即使视频之间存在微小的时间偏移（例如将起跳阶段与入水阶段进行比较），也可能导致灾难性的比较错误，这将直接破坏我们旨在捕获的细粒度差异信号。因此，时序对齐对于有效和精确的视频比较至关重要，尤其是在AQA中高度一致的动作类型中。为此，我们提出了时序对齐视频编码器（TAVE），它能够动态自适应动作的时序进展，确保比较的有效性和精确性。其次，朴素提取的多层次特征往往高度相关，共享背景、整体运动等冗余信息。这种冗余带来了重大风险，因为它可能稀释每个层次的独特信息，并导致模型默认依赖主导的全局线索。为了增强层次化特征的区分能力并实现精确的多层次差异对比，我们设计了全局引导特征精炼模块（GFRM）。该模块利用全局上下文来精炼时间和空间表示，有效地过滤冗余共性并突出每个层次独有的、与评分相关的关键细节。

我们在五个多样的短期和长期AQA基准上进行了大量实验：FineDiving（Xu et al., 2022b）、MTL-AQA（Parmar and Morris, 2019）、JIGSAWS（Gao et al., 2014）、艺术体操（RG）（Zeng et al., 2020）和Fis-V（Xu et al., 2019）。实验结果表明，我们的方法优于最先进的方法。主要贡献总结如下：

- 我们提出了一种新颖的多层次动作差异学习框架用于动作质量评估，这是首次系统地从全局、时间和空间粒度对视频对进行由粗到细的对比，以捕获全面的与质量相关的差异。
- 我们引入了时序对齐视频编码器（TAVE）通过显式处理时序不匹配来改进差异学习，以及全局引导特征精炼模块（GFRM）来增强细粒度特征的区分能力。
- 我们进行了大量实验和消融研究，揭示了层次化信息的重要性，以及我们的方法在五个基准（包括短期和长期AQA）——FineDiving、MTL-AQA、JIGSAWS、艺术体操和Fis-V上达到最先进性能的表现。

## 相关工作片段

### 动作质量评估

动作质量评估（AQA）领域已经快速发展，得益于多种多样化且具有挑战性的基准数据集的发布。这些数据集涵盖了广泛的场景，从短期动作如跳水（MTL-AQA（Parmar and Morris, 2019）、FineDiving（Xu et al., 2022b））和手术技能（JIGSAWS（Gao et al., 2014）），到长期表现如艺术体操（RG（Zeng et al., 2020））和花样滑冰（Fis-V（Xu et al., 2019）、FS1000（Xia et al., 2023）、OlympicFS（Du et al., …））。

### 方法

在本节中，我们将详细描述我们的MADL框架。核心思想是在三个层次上进行由粗到细的理解细微动作差异和分数映射，以实现全面评估。

### 数据集与指标

为全面验证我们方法的有效性，我们在五个主流AQA数据集上进行了实验，包括短期数据集（FineDiving（Xu et al., 2022b）、MTL-AQA（Parmar and Morris, 2019）和JIGSAWS（Gao et al., 2014））和长期数据集（艺术体操（Zeng et al., 2020）和Fis-V（Xu et al., 2019））。我们遵循各数据集和前人工作提出的评估标准。FineDiving（Xu et al., 2022b）是一个大规模、细粒度的跳水数据集，包含来自主要……的3000个视频。

### 结论

本文提出了一种新颖的多层次动作差异学习框架用于动作质量评估，该框架学习由粗到细的差异对比。为了解决时序不匹配问题，我们设计了一个时序对齐视频编码器来集成上下文相关的时序动态自适应机制。我们还设计了一个全局引导特征精炼模块，通过全局特征引导来优化细粒度表示。在五个AQA基准上的实验证明了我们方法的先进性。

## CRediT作者贡献声明

黄彪（Huangbiao Xu）：撰写–审阅与编辑，撰写–初稿，可视化，验证，方法论，数据整理。

柯晓（Xiao Ke）：撰写–审阅与编辑，监督，资金获取，概念构思。

徐瑞（Rui Xu）：撰写–审阅与编辑，验证，方法论，数据整理。

李岳州（Yuezhou Li）：可视化，验证，方法论，调查。

吴欢奇（Huanqi Wu）：验证，项目管理，方法论。

## 利益冲突声明

作者声明不存在任何已知的竞争性经济利益或个人关系，这些关系可能影响本文所报告的工作。

## 致谢

本工作部分由国家重点研发计划资助（项目编号2021YFB3600503），部分由国家自然科学基金资助（项目编号61972097和U21A20472），部分由科技强警重大科研项目资助（项目编号2025YZ040003和2024YZ040001），部分由福建省自然科学基金资助（项目编号2025J01536和2020J01494），部分由福建省科技重大项目资助……

黄彪 | 柯晓 | 徐瑞 | 李岳州 | 吴欢奇