用于3D人体运动预测的前向与反向序列间空间依赖性的部分共享
《Pattern Recognition》:Partially sharing spatial-dependence between forward and reverse sequences for 3D Human Motion Prediction
【字体:
大
中
小
】
时间:2026年09月21日
来源:Pattern Recognition 9.1
编辑推荐:
•我们进一步将空间依赖语义划分为动作级和序列级。
•我们挖掘了反向序列在空间依赖建模中被忽视的价值。
•我们提出了一种用于 HMP 的动作级空间依赖共享方法。
•该方法与各种 HMP 模型集成,显著提升了预测精度。
•该方法仅在训练期间生效,无额外推理成本。
引言
3D 人体
•我们进一步将空间依赖语义划分为动作级和序列级。
•我们挖掘了反向序列在空间依赖建模中被忽视的价值。
•我们提出了一种用于 HMP 的动作级空间依赖共享方法。
•该方法与各种 HMP 模型集成,显著提升了预测精度。
•该方法仅在训练期间生效,无额外推理成本。
引言
3D 人体动作预测 (HMP) 旨在基于历史观测预测未来人体姿态序列,是计算机视觉和机器人领域的核心技术。HMP 在自动驾驶 [1], [2], [3], [4]、动作跟踪 [5] 等领域有许多应用。特别是,随着人 - 机器人交互频率的增加 [6], [7], [8],HMP 可以通过准确预测潜在有害动作来显著提高安全性。
HMP 是一个序列到序列任务,同时受环境特性、人体特征和牛顿定律 [9] 的约束。因此,对人体动作背后的生物力学动态建模极其复杂。得益于深度模型(如基于 RNN 的方法 [10], [11], [12], [13],基于 CNN 的方法 [9],基于 GCN 的方法 [14], [15], [16], [17], [18], [19], [20], [21], [22], [23], [24], [25], [26],及其他 [27], [28], [29], [30], [31], [32], [33], [34], [35], [36], [37], [38], [39], [40], [41], [42], [43], [44], [45])的引入,HMP 在预测精度方面取得了显著进步。这些深度模型采用编码器 - 解码器架构,其中编码器致力于从时间和空间维度学习观测序列的依赖关系,以指导解码器的预测。
迄今为止,几乎所有这些模型都忽略了相应的反向动作序列。同时,与 NLP 的文本数据或图像理解的图像数据相比,HMP 的数据相对不足,在有限训练样本下获得高质量的预测模型成为一个巨大挑战。基于上述见解,我们旨在探索隐藏在反向序列中的有价值信息,通过提高样本效率来进一步提高 HMP 的预测精度。
正向动作序列是在现实中产生的,但反向序列代表相反的动作,甚至有些动作在现实中不存在。为实现这一目标,我们需要解决两个核心关切:(1) 与正向序列相比,相应的反向序列是否为 HMP 任务提供额外的有价值信息?(2) 如何巧妙地利用反向序列来有效提高 HMP 精度?详细的讨论和回答如下。
与相应的正向序列相比,反向序列可以为 HMP 提供额外的有价值信息,因为通常:(1) 动作序列表示为一个矩阵,其中每一列表示一个姿态;(2) 该矩阵作为统一实体,表示相应序列的动作信息;(3) 反向序列的矩阵是相应正向序列矩阵的按列翻转,两个矩阵之间的关系是非线性的且明显不同,确实代表不同的动作信息。
同一序列的正向和反向顺序在时间维度上呈现互为逆关系。然而,在空间维度(致力于探索不同动作之间人体关节的空间依赖)中,正向和反向顺序之间存在明显的共享特性,因为除了顺序外,所有帧(姿态)都是相同的。这种共享特性有利于增强现有深度模型(如 [17], [19], [20], [35])的空间依赖建模,原因如下:
(1) 不同于将空间依赖视为整体的现有模型,我们认为空间依赖可以进一步语义划分为动作级和序列级。前者表示与动作类别相关的空间依赖。如图 1 所示,做手势和行走是不同的动作类别,动作级空间依赖应该能够捕捉这两类动作的本质原则并轻松区分它们。同时,后者表征了关于特定序列更详细的空间依赖,例如快走或慢走,从不同演员捕获的行走等。这一假设与人体动作的事实原则完全一致,也可以为空间依赖提供新颖且更深入的理解。
(2) 正向动作序列与其相应反向序列之间的空间依赖可以视为在动作级上是共享的,而在序列级上是不同的。同样以行走序列为例,正向和相应的反向分别是向前行走和向后行走,在动作级上,它们都属于行走动作,而在序列级上,两种行走的详细空间依赖保留了差异。因此,反向序列可以用于增强现有模型中动作级空间依赖的建模精度,因为它们可以在动作级提供额外的有价值信息。
基于上述见解和分析,本文提出了一种巧妙的通过部分共享正向和反向序列之间的空间依赖来进行 HMP 的方法。具体而言,如图 2 所示,在训练期间,我们使用目标模型(现有方法,如 [17], [19], [20], [35])来捕捉当前正向序列的空间依赖,同时,我们采用另一个与目标模型初始状态相同的辅助模型来捕捉相应反向序列的空间依赖。目标模型和辅助模型的空间依赖均由动作级部分和序列级部分组成,且两个模型之间的动作级部分是共享的。通过这种共享,仅在反向序列上训练的辅助模型可以有效地协助目标模型获得更准确的动作级空间依赖,并最终促进目标模型在推理阶段的预测精度。目标模型和辅助模型之间在动作级共享空间依赖而在序列级保留差异的设计,与同一序列正向和反向顺序之间的真相非常吻合。
综上所述,我们的贡献如下:
(1) 不同于将空间依赖视为整体的现有模型,我们提出进一步将空间依赖语义划分为动作级和序列级。
(2) 我们探索并分析了反向序列在空间依赖建模中被忽视但有效的价值,并提出了一种基于同一序列正向和反向顺序之间动作级空间依赖共享的 HMP 方法。
(3) 该方法可以灵活地集成到各种现有 HMP 模型(目标模型)中,特别是那些具有明显空间依赖建模过程的方法。该方法仅在训练阶段生效,在推理阶段无额外计算成本。实验验证表明,通过集成我们的方法,现有模型的预测精度可以实现明显且全面的提升。
章节片段
人体动作依赖建模
迄今为止,深度模型已成为 HMP 的主流方法。这些模型致力于从观测序列中学习动作的时间和空间依赖以指导预测,可大致分为:
(1) 主要关注时间依赖建模的方法 [11], [12], [13]。人体动作数据表现出明显的序列属性,且循环神经网络 (RNN) 在序列到序列任务中取得了成功进展,因此 RNN 自然成为...
提出的方法
我们提出了一种基于同一序列正向和反向顺序之间动作级空间依赖共享的方法。通过在训练阶段与我们的方法集成,现有方法可以提高空间依赖建模的精度,最终提升推理阶段的预测精度。我们在以下章节中介绍方法的细节。
数据集
Human3.6M [49] 是最有影响力和最广泛使用的人体动作分析数据集之一。它包含 360 万个精确的 3D 人体姿态,涵盖行走、吸烟和进食等 15 种日常动作。每个姿态由 32 个人体关节描述,具有从指数图转换而来的精确 3D 坐标。按照 [17], [19], [20], [35] 中的预处理,评估在丢弃全局旋转、全局平移和...
结论
在本文中,我们从矩阵的角度分析和解释了反向动作序列与相应的正向序列相比可以提供额外的有价值动作信息。我们进一步将空间依赖语义划分为动作级和序列级空间依赖。动作级表示与动作类别相关的空间依赖,而序列级表征了关于...的更详细的空间依赖
CRediT 作者贡献声明
Yuan Mei:写作 - 审阅与编辑,写作 - 原稿撰写,监督,资源,方法论,形式分析,概念化。Yangyi Wang:写作 - 审阅与编辑,验证,软件,调查,数据管理。Bosai Wang:写作 - 审阅与编辑,可视化,软件。Anqi Dai:写作 - 审阅与编辑,可视化。Huaijiang Sun:监督,方法论,概念化。
生成式人工智能和人工智能辅助技术声明
作者声明,他们在本文报告的研究和写作过程中任何时间点均未使用生成式人工智能。
利益冲突声明
作者声明没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
致谢
本工作部分由国家自然科学基金(批准号 62406143 和 62176125)支持,部分由江苏省自然科学基金(批准号 BK20241468)支持。
Yuan Mei 于 2009 年获得中国南京理工大学博士学位。他目前是南京信息工程大学计算机科学与工程学院、软件学院的副教授。他的研究兴趣包括深度学习、计算机视觉和动作预测。
Yuan Mei|Yangyi Wang|Bosai Wang|Anqi Dai|Huaijiang Sun