《Engineering Applications of Artificial Intelligence》:Process-informed encoding and evaluation approach for scoring figure skating videos
编辑推荐:
花样滑冰视频评分方法提出基于运动显著性的时序解析模块(MITPM)和段式评分解耦策略(SSD),通过分解视频为关键运动段并逐段评估,在FS1000、OlympicFS和Fis-v数据集上实现最优性能。
Zexing Du|Xiaojun Wu|Shigang Liu
陕西师范大学计算机科学学院,中国陕西省西安市710119
摘要
本文提出了一种基于过程信息的编码和评估方法,用于对花样滑冰视频进行评分。大多数现有方法通常依赖于整体视频表示来进行评分回归或排名,而没有考虑这些长视频中的详细语义和运动动态,而这些视频通常包含需要评分的一系列子动作。为了解决这些问题,我们提出了一个基于运动信息的时间解析模块(MITPM),该模块提取分段的运动显著性特征以探索视频中的详细信息。通过这种方式,我们的MITPM将整个视频转换为一些重要的片段。然后,遵循实际的花样滑冰评分流程,我们提出了一种分段评分解耦(SSD)策略,该策略明确量化每个提取片段的等级。具体来说,我们定义了一组评分原型来定量评估每个片段的性能等级。与对整个视频进行直接回归不同,我们的方法通过组合每个片段的定量等级来生成最终得分。通过对广泛使用的水花滑冰数据集进行评估,我们的方法取得了先进的性能。此外,由于我们方法的效率,我们在准确性和模型复杂性之间实现了最佳平衡。
引言
花样滑冰是一项关键的运动,它不仅展示了卓越的运动能力、艺术表现和优雅气质,还培养了纪律性、创造力和国际友谊,对文化和体育景观做出了重要贡献。因此,准确分析花样滑冰视频中的各种性能指标变得越来越重要,这些指标在自动评分到视频摘要等领域有广泛的应用(Xu等人,2019年;Du等人,2024年)。与动作识别任务(Feichtenhofer等人,2019年;Arnab等人,2021年;Wang等人,2016年;An等人,2024年;Huang等人,2023年;Huang等人,2024年)不同,后者在几秒钟内对动作进行分类,而长期的花样滑冰分析通常包含连续的动作和复杂的模式,这使得详细分析变得具有挑战性。具体来说,长期花样滑冰分析的研究人员开发了专门的技术,结合了时间建模、空间分析和针对这项运动的性能评估指标。尽管取得了很大的进展,但大多数现有方法(Xu等人,2019年;Liu等人,2020年;Pirsiavash等人,2014年;Xu等人,2022a)将花样滑冰视频作为一个整体进行评分(如图1(a)所示),而没有考虑这些长视频中的详细时间结构。
认知神经科学研究(Meyer等人,2011年)发现,人类可以将相对连续的动作流感知为离散的片段。例如,在观察烹饪过程时,我们可能会将这一序列识别并分割成一系列离散的片段或“块”,包括切蔬菜、打开微波炉或洗碗。这种现象被称为分割或块化,是我们大脑处理和理解复杂序列的基本方式。在实际的评分过程中,裁判可能会根据执行、难度和艺术性等标准对跳跃、旋转和脚步动作等单个元素进行评分。每个元素分别评估,然后组合起来给出整个节目的总分。基于这些观察,我们放弃了图1(a)中的经典编码和回归策略,提出了一种新的基于过程信息的编码和评估方法,该方法可以明确评估长期花样滑冰视频的分段性能,如图1(b)所示。具体来说,给定一个包含多帧的输入视频,我们的目标是学习一个映射:,其中是预测的得分。为了提高可解释性和准确性,我们将这个映射分解为两个阶段:(1)将视频分割成多个运动显著性特征;(2)评估每个片段的质量,并将它们整合起来生成总体得分。这种结构化的表述与人类评分过程一致,是我们提出方法的基础。
对于一个未经剪辑的长时间花样滑冰视频,处理的第一步是将其分割成一组片段(Shu等人,2025年;Liu等人,2025a年;Wang等人,2025年)。例如,Xu等人(2024a年;Xu等人,2024b年)引入了程序分割方法,将动作解析为连续的步骤以评估动作质量。然而,他们依赖于密集标注的数据集,这些数据集劳动密集、成本高昂且容易出错。Ji等人(2023年)采用了一种弱监督的时间动作定位方法来定位长序列中的子动作。尽管如此,他们的性能与现成的动作定位方法紧密相关,这不可避免地会在视频中引入无关的噪声。为了克服上述限制,我们提出了一个基于运动信息的时间解析模块(MITPM),将整体特征分解为时间部分级表示。具体来说,为了过滤掉视频中的噪声背景,我们定义了一组可学习的查询,以与提取的运动特征建立交叉注意力,使模型能够选择性地关注相关的运动模式。通过这种方式,模型学会了识别并突出视频帧中的显著运动动态,有效地抑制了无关的背景信息。然后利用这些加权后的特征重建视频帧,最终将相对连续的动作流感知为离散的片段。
为了对花样滑冰视频进行评分,我们借鉴了比赛中实际使用的评分流程,提出了一种分段评分解耦(SSD)策略。详细来说,在将整体视频解析为一组重要片段后,SSD被开发出来明确评估每个片段的性能等级。通过将评分过程分解为各个片段,每个片段根据其内容(如跳跃、旋转和脚步动作)的具体标准进行评估,这使得我们的方法能够专注于每个元素的技术细节和艺术价值,减少了从整体评估整个程序时可能出现的主观偏见的影响。
我们在三个广泛使用的水花滑冰评分数据集上评估了我们提出的方法,即FS1000(Xia等人,2022年)、OlympicFS(Du等人,2024年)和Fis-v(Xu等人,2019年)。结果表明,我们的方法与之前的先进方法相比取得了可比的性能,展示了我们提出方法的优势。从技术上讲,我们的方法建立在最近的时间建模和视频表示学习进展的基础上。通过结合基于运动信息的时间解析模块和分段评分解耦策略,我们使模型能够提取结构化的、运动显著的表示,并进行可解释的评估。这种设计弥合了低级运动动态和高级评分语义之间的差距,并将我们的工作置于动作质量评估、时间动作解析和现实世界体育视频分析等更广泛的研究领域中。我们希望我们的探索能够为提高性能评分系统的准确性和公平性提供重要的见解,从而全面理解花样滑冰视频。简而言之,我们的贡献总结如下:
- •
我们提出了MITPM,将整体视频特征分解为一组部分级表示,使模型专注于视频中的显著运动动态。
- •
我们提出了SSD,明确评估每个片段的性能,使我们的方法能够关注每个子动作的细节,并减少无关背景的影响。
- •
我们的框架在统一的框架内提取和评估运动显著性特征,与其他工作相比,表现出更有效和高效的性能。
相关工作
相关工作
本节将简要回顾与动作质量评估相关的工作。此外,我们还将讨论一些关于花样滑冰视频分析的文献。
方法
所提出的方法是为评分涉及多个个体的花样滑冰视频而量身定制的。在第3.1节中,我们将首先详细阐述特征提取。第3.2节(基于运动信息的时间解析模块)和第3.3节(分段评分解耦)将介绍我们提出的MITPM和SSD方法,用于长期花样滑冰视频。此外,第3.4节将介绍评分损失。
实验
为了验证我们方法的有效性,我们在三个广泛使用的水花滑冰数据集上进行了实验,即FS1000(Xia等人,2022年)、OlympicFS(Du等人,2024年)和Fis-v(Xu等人,2019年)。所有数据集均来自真实的比赛。在本节中,我们将首先详细阐述数据集和实现细节。然后,我们将我们的方法与最先进的方法进行比较。最后,我们将提供设计良好的消融研究和定性分析。
结论
我们提出了一种有效且高效的水花滑冰视频评分方法。考虑到花样滑冰视频的长期和复杂性,我们提出了一个基于运动信息的时间解析模块(MITPM),用于识别和突出视频中的显著运动动态,并丢弃无关背景。此外,基于这些分段表示,我们进一步提出了一种分段评分解耦(SSD)策略,直接评估每个片段的表现
CRediT作者贡献声明
Zexing Du:撰写——原始草稿、可视化、验证、软件、资源、项目管理、方法论、调查、形式分析、数据整理、概念化。Xiaojun Wu:撰写——审阅与编辑、验证、资金获取。Shigang Liu:撰写——审阅与编辑、验证、资金获取。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系,这些利益或关系可能会影响本文报告的工作。