综述:用于运动捕捉数据恢复的低秩完成技术:方法、约束及算法

《Computer Science Review》:Low-rank completion for motion capture data recovery: Approaches, constraints, and algorithms

【字体: 大 中 小 】 时间:2026年01月08日 来源:Computer Science Review 12.7

编辑推荐:

  Souad Mohaoui | Andrii Dmytryshyn 瑞典厄勒布鲁大学科学与技术学院 **摘要** 运动捕捉(MoCap)系统是生物力学、计算机动画、人机交互和临床步态分析等领域的不可或缺的工具,因为它们能够准确地记录和分析人体在三维空间中的运动。基于

  Souad Mohaoui | Andrii Dmytryshyn
瑞典厄勒布鲁大学科学与技术学院

**摘要**
运动捕捉(MoCap)系统是生物力学、计算机动画、人机交互和临床步态分析等领域的不可或缺的工具,因为它们能够准确地记录和分析人体在三维空间中的运动。基于标记的系统使用附着在受试者身上的反射性标记和视频录像来跟踪人体运动。这种跟踪依赖于在视频中检测到这些标记,但由于遮挡、传感器故障和有限的相机覆盖范围,这并不总是可行的。这些问题会导致记录的轨迹出现缺失,从而影响数据的完整性,并使得运动数据难以在实际应用中发挥作用。因此,已经提出了多种MoCap数据补全技术来重建缺失的轨迹,同时保持人体运动的真实性和动态性。由于人体运动的固有重复性以及关节和标记之间的相关性(这些相关性由骨骼结构和生物力学约束决定),人体运动数据具有低秩特性。低秩补全技术利用这一特性来重建缺失的标记位置。本文综述了当前的MoCap数据补全低秩方法,特别关注基于优化的方法。这些优化方法通过优化公式直接解决缺失数据的问题。我们研究了两个方面:一是包含解剖学约束、关节依赖性和运动平滑度的运动学先验;二是利用矩阵和张量公式表达标记间相关性的低秩先验。此外,我们还评估了用于解决这些补全问题的优化算法,如交替最小化、近端算法、ADMM和混合方案,以及文献中常用的数据集和工具。

**1. 引言**
人体运动的自动捕捉与分析是一个快速发展的领域,其驱动力在于应用的广泛性和人类运动的复杂性[1],[2],[3],[4],[5],[6],[7],[8],[9],[10]。运动捕捉(MoCap)技术通过跟踪人体在三维空间中的位置和方向,能够详细记录复杂的运动模式。精确记录人体运动为临床康复、运动员表现优化、真实角色动画和虚拟现实体验提供了重要信息。

基于标记的系统使用专门的相机、传感器和可穿戴设备来跟踪附着在关键关节(如手腕、肘部、膝盖和踝关节)上的标记的运动。这些系统可以捕捉标记在三维空间中的位置和方向,使软件能够重建受试者的骨骼和姿势。尽管基于标记的运动捕捉由于高精度而得到广泛应用,但仍面临遮挡、标记不匹配或照明条件不佳等问题,从而导致数据不完整。当一个标记在录制过程中被所有相机遮挡时,其轨迹就会丢失,从而在数据中产生缺失。这些缺失会破坏捕获运动的连续性,给创建准确且无缝的人体运动表示带来挑战(见图1)。

**图1. 运动捕捉(MoCap)过程的示意图。多个相机记录放置在身体上的反射性标记,以获取骨骼数据。遮挡或跟踪错误可能导致标记缺失,从而在MoCap序列中出现空间和时间上的间隙。**

填补这些间隙的问题是许多数据驱动领域中普遍存在的缺失数据补全问题的一个具体例子。尽管先进的MoCap系统和软件提供了越来越高质量的数据捕捉,但间隙和噪声仍然是需要复杂计算解决方案的挑战性问题。恢复缺失标记数据的问题对于提高MoCap记录的可用性和质量至关重要。不准确或不完整的运动数据可能会在实际分析(如运动跟踪、步态分析或康复评估)中传播错误,最终可能影响依赖MoCap数据的应用程序的性能。

解决缺失数据问题的一个有前景的方法是利用人体运动中固有的低秩结构。虽然人体运动复杂,但它们往往表现出重复模式和个体间的协调关节运动,这使得数据可以用低秩矩阵或张量来有效近似。低秩恢复方法利用这种结构通过优化问题来填充缺失值,同时结合人体运动的生物力学特性作为约束条件可以进一步提高效果。

缺失数据是现代数据科学中最常见的挑战之一,影响从医学成像和传感器网络到推荐系统和社交网络分析等各个领域。观察数据不完整的问题源于多种因素,包括传感器故障、存储限制、网络中断和测量成本,这些因素导致传统假设数据完整的统计方法变得不适用或完全不适用。最近在低秩恢复理论方面的进展引入了多种方法来应对多个领域中的缺失数据问题,这些方法利用了许多高维数据集自然呈现低维结构的观察结果。

**2. 相关工作**
矩阵补全方法基于压缩感知和核范数松弛技术,在推荐系统中的协作过滤、图像恢复和人体运动重建等应用中取得了显著的成功。在高光谱成像中,结构化低秩矩阵分解已被证明能够在严重数据丢失的情况下有效利用空间-光谱相关性进行高质量图像恢复[11]。在无线通信中,矩阵补全和感知方法在信道估计中发挥了关键作用,从处理毫米波系统中的阵列固有损伤[12]到使用低秩矩阵感知的混合MIMO信道估计的最新进展[13]。除了成像和通信之外,矩阵补全还应用于计算生物学,其中加权约束公式提高了从不完整测序数据中估计单倍型的准确性[14]。在推荐系统和社交网络中,结合图信息的协作过滤[15]以及利用图神经网络的归纳矩阵补全[16]将低秩恢复扩展到了关系性和动态数据。尽管取得了这些成功,但基本挑战依然存在,最近关于矩阵补全复杂性的理论结果强调了开发可扩展、领域感知算法的重要性[17]。

尽管矩阵补全对于二维数据已被证明是有效的,但许多现实世界应用涉及本质上是多维的结构,这些结构更自然地用张量来表示。张量补全方法通过利用空间、时间和光谱维度上的相关性,将低秩恢复思想扩展到更高阶数据,采用张量分解和张量秩最小化方法。在医学成像中,低秩张量模型实现了加速的动态和定量MRI重建,包括多参数映射和MR多任务处理以及非笛卡尔MRF重建[18],[19],[20],[21]。利用平滑性和稀疏性的张量方法改进了多维数据恢复和鲁棒的彩色图像重建[22],[23],[24],[25],[26],[27]。在高光谱成像和遥感中,带即插即用先验、纤维秩约束和稀疏正则化的低秩张量优化实现了卓越的图像恢复和异常检测[28],[29],[30],[31],[32],[33],[34],[35]。最近的高级公式,包括傅里叶低秩和稀疏张量补全[36]、低秩 reduced biquaternion 张量环分解[37]、张量列车格式下的预处理黎曼优化[38]、多层稀疏基张量分解[39]和t-Schatten-p范数最小化[40],[41],显著提高了可扩展性和重建精度。这些工作共同说明了基于张量的低秩恢复作为矩阵补全的自然扩展的重要性,使其能够在医学成像、遥感和计算成像应用中准确重建复杂的高维、多模态数据。

低秩方法在成像、通信和遥感领域的广泛应用证明了低维先验在恢复结构化高维数据方面的多功能性。这些领域与MoCap数据补全有根本相似之处,即可以通过利用多个模式间的冗余和相关性来推断缺失的条目。然而,运动捕捉引入了一些独特的挑战,使其与图像或信号恢复任务有所不同。首先,MoCap轨迹受到生物力学结构的约束:必须保持固定的骨骼长度、关节角度限制和关节运动的协调性,而图像中的像素阵列或MRI中的体素缺乏这样的刚性物理约束。其次,MoCap中的缺失数据模式通常是结构化的,由标记遮挡或跟踪错误引起,这些错误会跨越长时间范围内的整个轨迹,而不是图像恢复中常见的逐像素或局部缺失模式(见图5)。第三,人体运动表现出强烈的非线性和突然的动态变化(例如冲击、快速方向变化),这可能会削弱低秩假设的有效性,而图像和视频序列通常显示较平滑的相关性。

Martini等人[42] 对运动捕捉和人体姿势估计系统的去噪和补全滤波器进行了综述。该综述涵盖了通用滤波器、降维技术和深度学习架构。在这一框架内,低秩和矩阵补全方法被认定为重建不完整MoCap序列的关键降维方法。然而,他们的讨论仍处于一般层面,主要概述了低秩先验在其他优化策略中的作用。本文旨在提供对MoCap数据补全低秩方法的全面综述。它涵盖了低秩矩阵恢复技术的发展历程,从基于核范数最小化的早期方法开始,随后是结合各种先验(如运动学约束、时间连续性和其他领域特定知识)的更高级方法。我们讨论了依赖于运动特性和骨骼信息的方法,以及那些专注于引入低秩先验的方法。将运动学约束直接整合到补全过程中的方法,称为MoCap数据先验,旨在改进低秩矩阵补全问题。此外,对各种低秩先验的分析提供了关于MoCap数据恢复中采用的多样化策略的宝贵见解。

本文的其余部分结构如下:第2节回顾了处理运动捕捉数据中缺失标记的现有方法。第3节介绍了背景和理论基础,包括符号、定义和问题陈述。第4节探讨了MoCap补全中的运动学先验。第5节研究了用于建模MoCap数据问题低秩特性的各种低秩先验。第6节讨论了基于矩阵的低秩补全技术,而第7节重点关注张量分解方法用于MoCap数据补全。第8节回顾了用于解决这些补全问题的关键优化算法。第9节提供了运动捕捉研究中常用的数据集和工具的信息。第10节讨论了所提出方法的算法复杂性、鲁棒性和实际考量。最后,第11节总结了当前面临的挑战,并讨论了该领域的相关未来研究方向。插值方法
插值是估计motion capture(MoCap)数据中缺失标记位置的最简单技术之一。这些方法假设运动是连续的,并且可以根据现有的相邻标记预测缺失数据。文献中探索了各种插值技术,包括线性插值[43]、[44]、样条插值[45]、[46]、卡尔曼滤波[44]、[47]、[48]以及局部线性模型[49]。这些方法通常适用于短时间的间隙,并且计算成本较低。它们通常依赖于相邻标记之间运动连续性的假设,因此适用于不超过几秒的短间隙或帧数有限的场景。然而,插值方法也有局限性。它们通常需要人工干预来确保正确选择相邻标记,并且对于较长的间隙或复杂的运动,其准确性会降低。插值技术在处理由于遮挡或传感器故障导致的大范围、不可预测的间隙时也表现不佳。因此,虽然这些方法可以实时用于小型数据恢复任务,但它们不适用于更复杂或长期的MoCap数据恢复[50]。

2.2. 数据驱动的方法
A. 数据库匹配方法
这些方法通过使用包含相似运动序列的数据库来重建缺失的条目来解决缺失标记的问题。这些方法在从稀疏标记数据重建高质量人体运动方面取得了成功。然而,数据驱动技术需要预先收集的标记集和预训练的分类器来预测缺失值,这使它们依赖于一个完善的训练数据集。这些方法的一个关键限制是它们容易受到“样本外”问题的影响,即运动数据与预训练模型不同[51]、[52]。这限制了它们的灵活性,使得它们在运动数据变化较大的实际场景中适用性较差。

B. 骨骼驱动方法
骨骼驱动方法利用运动学或骨骼长度约束来指导缺失标记的恢复[53]、[54]、[55]。这些方法依赖于标记在人体上的准确定位。然而,不同受试者之间标记位置的微小变化会显著影响这些方法的性能和泛化能力。尽管当标记定位精确时,这些方法可以有效,但它们在更动态和不受控制的环境中的适用性仍然有限。

C. 基于神经网络的方法
近年来,深度学习越来越多地应用于运动捕捉数据完成问题。神经架构通过直接从数据中学习运动先验来解决问题,而不是依赖于手工制定的等级或平滑性约束。Kucherenko等人的早期工作[56]表明,循环网络和前馈网络可以通过捕捉时间连续性来重建缺失的标记,在长间隔场景中表现优于插值方法,但这需要大量的训练数据。双向循环自编码器通过从过去和未来的帧中传播信息进一步提高了鲁棒性,而受U-net启发的Bi-LSTM架构则通过使用自适应损失函数来处理长期遮挡[57]。更先进的方法结合了注意力机制和生成建模。在[58]中,作者提出了一个双向注意力网络,可以选择性地强调信息丰富的时间上下文。生成对抗网络(GANs)中,卷积循环生成器重建被遮挡的骨骼,基于LSTM的判别器确保时间一致性[59]。图神经网络(GNNs)将骨骼明确表示为时空图,关节作为节点,骨骼作为边。在[60]中引入了一种具有时间结构感知的GNN;它同时捕捉了连通性和运动动态,实现了最先进的完成精度。在[61]中,作者提出了一种去噪图自编码器,将缺失的关节视为结构性噪声,并使用拉普拉斯平滑和锐化来重建它们,提高了在遮挡和噪声捕捉条件下的鲁棒性。

尽管取得了这些进展,神经网络方法仍面临几个限制。它们通常需要大型、多样且干净的训练数据集才能有效泛化,而低秩优化方法可以直接应用于损坏的输入而无需预训练。它们的性能也对数据集偏差敏感,当测试运动与训练分布偏离时性能会下降。此外,复杂的循环、基于注意力的或图模型引入了大量的计算开销,可能会阻碍实时部署。

2.3. 稀疏表示方法
稀疏表示技术假设不完整的MoCap数据可以表示为少数姿态在适当基或字典中的线性组合[62]、[63]、[64]。这些方法侧重于在 learned 字典中找到运动数据的最稀疏表示,其中重建过程是通过数学优化稀疏约束来驱动的,而不是基于相似性检索。然而,它们需要大量的训练数据和字典学习,这限制了它们在不同场景中的灵活性。这种对训练数据的需求限制了这些方法的适用性,特别是在数据可能不符合预定义模型的动态环境中。

2.4. 低秩方法
2.4.1. 基于PCA的方法
基于主成分分析(PCA)的方法广泛用于通过捕捉人体运动的主要成分来解决缺失标记问题[49]、[65]、[66]、[67]。这些方法将运动数据分解为正交基向量(也称为主成分),并通过将现有数据投影到由最显著成分定义的较低维子空间上来重建缺失标记。这些方法利用运动矩阵中的线性或非线性相关性来估计缺失值。基于PCA的方法可以根据其核心算法策略分为三种主要的重建方法。

基本PCA
双PCA坐标转换方法在[68]中提出,该方法利用人体运动数据中身体部分之间的相关模式。该方法构建了两个主成分空间:一个来自完整帧,另一个来自将缺失标记坐标设置为零的相同帧。这两个空间之间的坐标转换使得可以重建缺失标记,并通过对相邻标记应用空间权重来提高准确性。虽然这种方法计算效率高且不需要外部数据集,但它仅限于单个缺失标记,并且在多个同时出现的间隙或非重复运动模式下的性能会下降。在[66]中的工作通过从代表性数据集中预计算特定于运动的主成分来扩展特征空间方法。与其仅依赖于当前的测试序列,这些基于PCA的算法利用来自训练样本的预计算特征空间,通过三种不同的方法实现稳健的恢复:填充标记轨迹中的间隙、在运动序列中恢复整个缺失的时间帧,以及处理具有不可预测或非重复运动特征的复杂运动模式。

多尺度PCA
[49]中的作者开发了一种结合全局和局部PCA建模的分层方法。该方法首先使用概率PCA对训练运动序列进行分割,通过划分聚类构建局部线性模型的层次结构,并使用随机森林分类器在估计过程中识别每个帧的最合适的局部模型。这种分段线性框架即使在长时间遮挡期间也能稳健地恢复缺失标记,特别是在标记在序列边界缺失或大量标记同时缺失的情况下。这种方法有效地处理了多种运动类型和任意的缺失标记集,但需要大量的训练数据和精细的参数调整。

加权PCA
[65]中的研究提出了一种基于PCA的方法,该方法通过基于标记之间空间接近度的自适应加权策略来利用标记相关性。该方法采用双PCA方法,对完整数据和填充了间隙的矩阵进行主成分分析,以创建反映人体运动链结构的变换基。使用高斯函数为生物力学相关的标记分配更高的权重。作者实施了两种重建策略来处理多个间隙:同时重建,仅使用完整时间帧一起处理所有损坏的轨迹;以及连续重建,根据接近度标准选择性地包含或排除损坏的轨迹。

2.4.2. 基于优化的低秩方法
本文提供了对通过基于优化的公式明确利用低秩结构的运动捕捉数据恢复方法的全面回顾。这些方法与其他范式有根本的不同。插值方法(如线性或样条插值)基于局部估计的原理,使用相邻的已知值在运动特征平滑变换的假设下预测缺失条目。插值方法本质上仅适用于短时间间隔,并且在运动特征随时间窗口变化较大时表现较差。数据驱动方法虽然更为复杂,但依赖于预先收集的运动数据库或学习到的先验,这使得它们对于已知运动类型非常有效,但在遇到新运动时容易受到样本外问题的影响。基于PCA的方法同样依赖于来自完整训练数据的预学习子空间,这限制了它们在训练集中表现得很好的运动的适用性(表1)。

表1. 运动捕捉数据完成的低秩方法分类

参考文献
低秩先验
运动学约束
优化
额外先验
核范数方法([69], 2011)
核范数
无
SVT
无([90], 2013)
核范数
运动轨迹
SVT
无([73], 2014)
核范数
平滑性
ALM
无([75], 2015)
核范数
骨骼长度
SVT
无([72], 2017)
截断核范数
平滑性
ALM
无([109], 2019)
核范数
等距性与平滑性
ALM
稀疏性([71], 2020)
核范数
频率平滑性
ALM
稀疏性([107], 2022)
核范数
平滑性
FPPA
稀疏性([91], 2024)
近似核范数
骨骼长度与平滑性
ADMM
混合损坏处理([108], 2025)
核范数
平滑性
ADMM
分层融合
Schatten p-范数方法([70], 2018)
截断Schatten p-范数
骨骼长度与平滑性
ADMM
无([74], 2019)
加权Schatten p
骨骼长度与平滑性
ADMM
非局部相似性([111], 2022)
Powered Schatten p-范数
时间平滑性
ADMM
离散子空间聚类([108], 2025)
Schatten p-范数
平滑性
ADMM
分层融合
其他低秩方法([76], 2015)
矩阵分解
无
不精确ALM
分层与非负性([110], 2018)
非线性低秩
骨骼长度与平滑性
ALM
核学习
张量分解方法([77], 2024)
CP分解
平滑性
BCD
稀疏性([112], 2025)
Tucker分解
时间连续性
Proximal BCD
无

缩写:SVT = 奇异值阈值;ALM = 增广拉格朗日乘数;ADMM = 交替方向乘子法;BCD = 块坐标下降;FPPA = 固定点近邻算法。

相比之下,基于优化的低秩方法通过明确利用人体运动的固有低维结构,将运动完成直接表述为一个受限优化问题[69]、[70]、[71]、[72]、[73]、[74]、[75]、[76]、[77]。这些方法不是依赖于局部预测或外部数据库,而是通过最小化受低秩约束的目标函数来恢复缺失数据。这种框架自然地适应了生物力学和运动学先验,在某些条件下提供了理论上的恢复保证,并避免了对大型、干净训练数据集的依赖。由于直接秩最小化是非凸的且计算上不可行的,因此采用了核范数最小化、Schatten-p范数和矩阵分解等凸松弛和正则化技术。这些基于优化的方法是运动捕捉数据完成的最新技术,为整合关于人体运动的领域特定知识提供了原则性基础。

3. 背景和理论基础
低秩属性是计算机视觉、降维、数据分析和机器学习等多个领域的基本概念[78]、[79]、[80]、[81]、[82]、[83]、[84]、[85]、[86]、[87]。它在减少数据复杂性和噪声的同时保留相关信息方面起着关键作用。矩阵的秩是指该矩阵的最大线性独立列/行数。数学上,当矩阵的秩远小于其维度时,称该矩阵具有低秩属性。这意味着数据可以用比原始数据秩更低的矩阵来近似表示。低秩结构擅长捕捉数据中的模式。因此,它已成为解决重建缺失数据问题的关键[88]、[89]。

低秩矩阵完成的一个重要应用是运动捕捉中由缺失标记引起的间隙填充问题。人体运动恢复的低秩属性可以通过运动捕捉数据中相邻帧之间的相似性来证明,例如图2所示。人体运动的一个关键特征是整个运动由通过刚性且不可弯曲的骨骼连接的关节的运动所定义。因此,一个关节的运动与其他关节的运动本质上是相关的。要检查给定的运动矩阵X是否具有低秩结构,我们分析了X或XTX的谱(奇异值)。我们在图3中展示了来自CMU MoCap数据库的四个不同C3D文件的对数刻度的奇异值。我们可以观察到,运动矩阵的奇异值呈现出衰减趋势,表明这些运动矩阵具有低秩特性。

下载:下载高分辨率图像(339KB)
下载:下载全尺寸图像
图2. CMU数据库中walking序列07_01.c3d的行走骨架帧。
下载:下载高分辨率图像(346KB)
下载:下载全尺寸图像
图3. 来自CMU数据集的多个受试者和活动类别的运动捕捉序列的奇异值(对数刻度)。分析的运动包括:受试者#7:行走;受试者#85:跳跃、翻滚和霹雳舞(02: JumpTwist, 04: FancyFootWork, 05: HandStandKicks, 12: LongSequenceGood);受试者#107:带障碍物行走;受试者#126:游泳(02: BackStroke);受试者#127:动作-冒险动作,跑步、跳跃、蹲下、翻滚(17: RunStopRun);受试者#133:婴儿式行走(24: WalkZigZag);受试者#134:滑板动作(04: Motorcycle);受试者#135:武术行走(02: Empi);受试者#136:风格化或“奇特”的行走(18: Flamingo);受试者#140:从地面站起来(01–02: Run)。这些序列涵盖了多种运动风格,展示了在周期性以及复杂非周期性运动中运动捕捉数据的低秩结构。

3.1 基本符号和定义
张量使用欧拉记号表示(例如,X),矩阵用粗体大写字母表示(例如,X),向量用粗体小写字母表示(例如,x),标量用标准小写字母表示(例如,x)。xi表示矩阵X的第i列。张量的阶数对应于其维数。更一般地,一个N阶张量X,其维度为I1×I2×?×IN,是一个N维数组,在RI1×I2×?×IN中。索引约定如下:张量X中位置(i1,i2,...,iN)的元素表示为Xi1,i2,...,iN,矩阵中位置(i1,i2)的元素表示为Xi1,i2。对于正整数N,我们使用符号[N]:={1,2,...,N}。符号“°”表示向量的外积。张量X∈RI1×I2×?×IN与矩阵A∈RJ×In的n模张量-矩阵乘积表示为X×nA,其大小为I1×?×In?1×J×In+1×?×IN。张量X的n模展开定义为矩阵X(n)∈RIn×M,其中M=∏j≠nNIj,是通过将张量转换为矩阵得到的,按照n模方式,其中Xi1…iN对应于Xin,s,s=1+∑j≠nN(ij?1)Sj且Sj=∏k≠nj?1Ik。

3.2 运动捕捉数据的矩阵表示
运动捕捉数据记录了一系列代表高度灵活动作的运动帧。捕捉到的运动由一系列帧(姿势)组成,每个帧的特征是放置在特定身体部位或关节上的标记的位置。每个关节都有3D坐标[x,y,z]。

基于帧的表示
捕捉到的运动序列可以表示为一个m×n矩阵M,其中m对应于运动捕捉序列中的总帧数,n=3p表示所有标记或关节的位置坐标数,因此矩阵M的每一行对应于序列中的一个帧:
(1) M=[f1,f2,…,fn],
其中每个帧fi对于i=1,…,n定义为:
(2) fi=[xi,1yi,1zi,1xi,2yi,2zi,2…xi,pyi,pzi,p]T,
或
(3) fi=[xi,1xi,2…xi,pyi,1yi,2…yi,pzi,1zi,2…zi,p]T。
如图4所示,所有关节的轨迹是相互关联的。由于运动捕捉系统的高数据采集速度,帧在运动数据中表现出一致性。因此,基于帧的运动捕捉数据表示揭示了帧间标记位置的冗余性,这直观地表明了数据的低秩特性。

下载:下载高分辨率图像(319KB)
下载:下载全尺寸图像
图4. 来自CMU数据集的行走动作序列07_01.c3d(316帧)的3D标记轨迹。

基于轨迹的表示
为了进一步提高低秩先验的可靠性,在[90]中引入了基于轨迹的表示方法。不同关节的轨迹在短时间内是相关的(见图6)。因此,运动数据被组织成基于轨迹的表示,利用了人类运动在短时间段内的重复模式。因此,运动数据被安排成一系列轨迹段:
Mt=[t1,t2,…,tk],
其中k=d×n/l,
l是轨迹段的长度,每个t是从帧j到帧j+l?1的关节的轨迹段,给定为asti=[xi,jxi,j+1…xi,j+l?1yi,jyi,j+1…yi,j+l?1zi,jzi,j+1…zi,j+l?1]T。

3.3 张量表示
运动捕捉数据可以自然地建模为三阶张量M∈Rm×p×3,其维度分别对应时间(帧)、关节(标记)和空间坐标(3D坐标),如图4中的3D轨迹所示。
M=[Mx,My,Mz],
其中Mx, My, 和 Mz∈Rm×p分别表示沿x轴、y轴和z轴的运动捕捉数据分量。

3.4 问题陈述
在运动捕捉系统中,标记被放置在物体上以跟踪其运动。然而,由于遮挡、自遮挡、光照条件不佳或技术故障,这些标记在录制期间可能会暂时从相机视野中消失。当标记从相机视野中消失时,其3D位置数据将不可用,从而在轨迹中产生间隙。这些间隙显著降低了运动数据的质量,并对需要连续完整运动信息的实际应用提出了挑战。当标记被遮挡时,三个坐标(x,y,z)通常同时缺失,从而在时间块(连续帧)中产生间隙,而不是作为孤立值。因此,填补间隙的挑战与其他应用(如图像处理)中研究的传统缺失数据问题有很大的不同,如图5所示。由于人类运动的复杂性和关节之间的复杂相互依赖性,恢复这些缺失的标记带来了重大挑战。几个关键因素严重影响填补间隙方法的性能:
- 间隙长度和持续时间:每个标记连续缺失的帧数。这也可以根据运动捕捉采样频率来衡量(缺失帧数 = 持续时间 × 频率)。更长的间隙通常更难以准确填补。
- 缺失标记的数量:序列中缺失标记的总数直接影响完成的准确性。随着这个数字的增加,可用的时空信息减少,使得重建问题更加困难。
- 间隙分布和多样性:间隙的模式和频率显著影响完成的效率。随机分布的间隙比遵循系统模式的间隙更难以预测。此外,当单个标记的轨迹中同时出现多个间隙时,复杂性显著增加,限制了可以利用时空相关性进行准确轨迹重建的能力。
- 运动复杂性:运动的复杂性显著影响完成性能。高度动态或复杂的运动(例如,舞蹈、拳击)比简单、重复的运动(例如,行走)带来更大的挑战。复杂运动通常涉及不可预测的轨迹、可变的速度和复杂的协调模式,这些更难以准确预测。

下载:下载高分辨率图像(579KB)
下载:下载全尺寸图像
图5. 不同缺失数据模式的示意图。(a) 在运动捕捉数据中常见的结构化间隙(例如,连续标记遮挡)。(b) 在基于图像或像素的数据中常见的随机缺失条目。

运动捕捉数据完成问题可以使用矩阵或张量表示来表述。在矩阵设置中,运动数据M∈Rm×n通常表示m个时间帧和n个标记坐标,其中包含缺失条目。设Ω为观测到的条目的索引集,其中元素Mij,(i,j)∈Ω的值是已知的。则低秩矩阵完成问题可以正式表述为:
(4) minX∈Rm×n, rank?(X), s.t PΩ(X)=PΩ(M),
其中PΩ:Rm×n?Rm×n是正交投影到Ω之外的矩阵子空间,当且仅当Mij被观测到时,(i,j)∈Ω。PΩ(X)定义为:
(5) PΩ(X)={Xi,j if (i,j)∈Ω, 0 otherwise。
或者,这种投影可以表示为PΩ(X)=H°X,其中H∈{0,1}m×n是一个二进制矩阵,用于表示掩码矩阵,定义为:
(6) H={1 if Mi,j被观测到, 0 otherwise。
虽然矩阵表示已经被广泛研究,但运动捕捉数据本质上具有多维结构,使用张量表示可以更好地保留这种结构。在这种情况下,运动数据可以表示为一个三阶张量T∈Rm×n×p,其维度可能分别代表时间、标记和3D坐标。核心目标与矩阵完成类似:在保持数据的低维结构的同时恢复缺失条目:
(7) minX∈Rm×n×p, rank?(X), s.t PΩ(X)=PΩ(T),其中PΩ:Rm×n×p?Rm×n×p是正交投影算子,定义为:
(8) PΩ(X)={Xi1,i2,i3 if (i1,i2,i3)∈Ω, 0 otherwise。
矩阵和张量完成问题都旨在找到与观测到的条目相匹配的最低秩结构。然而,这些问题通常是NP难的,因此导致了各种计算方法和放松。

4. 运动捕捉完成中的运动学先验
人类运动遵循固有的生物力学规则和模式,这些可以用来提高完成问题的准确性。这些运动学约束作为辅助信息可以整合到低秩完成框架中。运动学先验的整合作为一种正则化机制,引导低秩优化朝向与预期的人类运动特征一致的解决方案。这些先验将解空间限制在保持自然运动特征的物理有效运动上,从而得到更现实和生物学上合理的结果。

4.1 骨骼约束
骨骼约束确保完成过程遵循骨骼的结构,如图7所示。这有助于防止恢复结果中出现不现实的特征,例如不正确的骨骼长度。这里,我们讨论了在运动捕捉完成问题中使用的三个骨骼约束。

下载:下载高分辨率图像(239KB)
下载:下载全尺寸图像
图7. 带有31个标记的的人体骨骼表示。
A. 骨骼长度约束
这种约束确保在恢复过程中保持相邻关节之间的距离。通常,一个关节化的骨骼表示为一个树结构,其中每个节点对应一个骨骼关节,连接节点的边代表骨头。对于每个缺失的关节,集合E包含其相邻的边。每条边ei∈E,i=1,…,p有一个长度di和一个连接的关节对(α,β)i。因此,对于每个ei,定义一个矩阵Ci∈R3×n来提取(α,β)i的关节间距离,即Ci=[xyz]αT?[xyz]βT,其中x=Vec(X),Vec将矩阵X∈Rm×n映射到向量x∈Rn,n=m×n。例如,矩阵Ci可以表示为:
Ci=[0,…,Iαi,0,0,?Iβi,0,…,0],
其中Iαi和Iβi是3×3的单位矩阵。因此,为了在完成算法中保持骨骼约束,可以将骨骼长度约束
(9) ‖Ci∥2≤di,
对于i=1,…,p,
集成到完成问题的最小化函数中。距离di是通过平均所有可见帧中连接关节的ei的关节间距离来计算的。

B. 总骨长约束
骨骼运动捕捉的基本原理是骨骼长度在整个运动过程中保持不变,因为人体骨骼保持其刚性结构。设fi为第i帧:
fi=[xi,1yi,1zi,1xi,2yi,2zi,2…xi,dyi,dzi,d]T,
=[ci,1T,ci,2T,…,ci,jT,…,cidT]T,
其中ci,j=[xi,j,yi,j,zi,j]是第i帧中第j个关节的3D坐标。第i帧中第j个关节的相对坐标ci,jr定义为:
ci,jr=ci,j?ci,p(j)lj,
其中ci,p(j)是第i帧中关节j的父关节的坐标,lj是连接关节j与其父关节的骨长。第i帧中第j个关节的骨长误差函数K(fi)定义为:
K(fi)=∑j=1m((ci,jr)Tci,jr?1)2。
由于X中每个帧的骨长误差是独立的,总骨长误差可以表述为:
(10) g(X)=∑i=1nK(fi),其中g(X)=0当且仅当恢复结果中没有骨长错误。使用绝对骨长的等距公式称为:
(11) Θiso(X)=∑i=1n∑j=1m(‖ci,j?ci,p(j)‖22?lj2)2。
相对和绝对公式都强调了相同的底层约束:通过在整个运动序列中保持恒定的骨长来保持刚性的骨骼结构。

在[91]中提出了另一种骨骼长度保持的表述方法,该约束考虑了骨骼结构中所有连接的关节对:
(12) Cph(X)=∑i=1n∑ej,k∈E(‖ci,j?ci,k‖22?lj,k2)2,
其中E代表骨骼结构中所有连接关节对(j,k)的集合。与方程(11)中的等距约束不同,该公式包括了所有解剖上连接的关节对,可能包括同胞关节、祖父母-孙子关系或其他超出严格父子层次的结构连接。

4.2 平滑性先验
在人类运动中,不同位置或姿势之间的转换通常是连续的。此外,移动身体部位的轨迹很少涉及突然或急促的运动(见图4)。因此,人类运动数据通常具有平滑的结构。这种平滑性指的是运动过程中身体部位的位置、速度和加速度的连续和渐进的转换。因此,捕捉和建模平滑性属性的方法提供了更自然的人类运动重建。

A. 差分算子
运动捕捉矩阵X在时间方向上的平滑性可以使用各种阶数的差分算子来表示。这些算子通过最小化相邻数据点之间的差异来强制轨迹平滑,其中较小的差异意味着更平滑的转换。
- 一阶差分算子
一阶差分算子,也称为总变差(TV)正则化器,通过惩罚连续时间点之间的较大梯度来强制平滑性,同时保留重要的不连续性。对于给定向量x∈Rm,TV算子定义为
‖x‖TV=(∑i=1m?1|xi?xi+1|2)1/2=‖Dtvx‖2,
其中Dtv是一阶差分矩阵:
Dtv=[1?1??1?1]。

- 二阶差分算子
二阶差分算子通过惩罚轨迹的曲率(二阶导数)来提供增强的平滑性正则化,这相当于约束加速度而不是速度。这种方法强制更平滑的转换,与自然的人类运动模式更为一致。操作符定义为(13)Θ(X)=‖XDhT‖F2,其中矩阵Dh是一个三对角线方阵,定义为:(Dh)i,j={2hi?1 如果 j=i?1, ?2hi?1hi 如果 j=i, 2hi(hi?1+hi) 如果 j=i+1, 其他情况下为 0。对于所有的 i, 2?i?n?1,n 是 X 中元素的数量。hi 表示连续数据点 Xr,i 和 Xr,i+1 之间的步长。假设边界元素重复(Xr,0=Xr,A 和 Xr,n=Xr,n+1),则有 ?(Dh)1,1=(Dh)1,2=1h12,以及 (Dh)n,n?1=?(Dh)n,n=1hn?12。当假设数据以恒定间隔 hi=1 等间距分布时,差分矩阵 Dh 变为 D=[?111?21???1?211?1]。矩阵 D 关注每个数据点的直接邻域,从而提供了时间平滑度的局部分析。通过考虑边界条件(重复边界元素),矩阵 D 考虑了数据序列边缘的稳定性。这确保了即使在数据边界附近,平滑度分析也是一致且准确的。可以通过一阶或二阶差分操作符来强制平滑度。这两种操作符都关注每个数据点的直接邻域,提供时间平滑度的局部分析。边界条件确保了即使在数据序列的边缘,平滑度分析也是一致且准确的。一阶操作符限制速度变化,适用于速度相对恒定或逐渐变化的运动。二阶操作符限制加速度,特别适合于重复或周期性活动,其中生物力学原理支持平滑的加速度模式。相比之下,突然或冲击性的运动(例如,突然的方向变化、碰撞或接触相互作用)通常违反这些假设。在这种情况下,过于严格的平滑度强制可能会通过人为地抑制快速变化或自然不连续性来扭曲运动。因此,选择一阶或二阶平滑度应该根据运动特性来指导,自适应公式可以为处理混合或不可预测的动态提供潜在的解决方案。

B. 小波变换
在小样本运动捕捉(MoCap)数据分析的背景下,小波用于分析和表征人体运动的时空特征。离散小波变换(DWT)[92], [93], [94] 将运动数据分解为不同的尺度,提供多分辨率视图。通过使用小波基矩阵 W 分解运动数据矩阵 X,变换能够通过小波变换定义的平滑度假设来进行全面的运动平滑度分析:(14)Θ(X)=‖WX‖q。这里,‖?‖q 表示 lq-范数(通常是 l1 或 l2),它允许灵活的特征提取和噪声减少。小波基矩阵 W 定义为:W=[ψs(1),k(1)(1)ψs(1),k(1)(2)?ψs(1),k(1)(n)ψs(2),k(2)(1)ψs(2),k(2)(2)?ψs(2),k(2)(n)????ψs(n),k(n)(1)ψs(n),k(n)(2)?ψs(n),k(n)(n)]。矩阵 W 的元素来源于小波基函数 ψs,k(j),定义为:ψs,k(j)=12sψ(j?k?2s2s),其中 ψ(t) 是母小波函数,s∈Z 表示控制扩张的尺度参数,k∈Z 表示控制位置的平移参数。由变换 WX 得出的小波系数提供了时间-频率表示,其中较大的系数对应于特定尺度和时间位置的显著运动特征。这种多分辨率属性使得小波特别适用于分析层次化的运动结构。

C. 快速傅里叶变换(FFT)
FFT 是分析信号频率和理解主体如何演变的一种流行工具。FFT 将信号分解为其频率成分 [94]。在周期性信号的情况下,FFT 将信号分解为其组成の低频成分。通过将信号分解为其基本频率成分,FFT 可以洞察运动的周期性。基于 FFT 的平滑度假设的数学表示为:(15)Θ(X)=‖FX‖q,其中 F 是应用在 X 上的 FFT,F 是一个变换矩阵。设 Fk,n 是 N×N 矩阵 F 中第 k 行第 n 列的元素,k,n∈{0,1,2,…,N?1}。Fk,n=e?j2πkn/N。矩阵形式表示为:F=[11?11e?j2π?1/N?e?j2π?(N?1)/N????1e?j2π?(N?1)/N?e?j2π?(N?1)2/N]。FFT 将复杂的运动信号分解为低频成分,揭示了人类运动中固有的基本周期模式,同时过滤掉高频噪声。

5. 低秩先验
最小化矩阵或张量秩的问题(如 (4), (7) 是不适定的,并且通常被认为是 NP 困难问题。秩函数的凸松弛使得问题在计算上可行,并在某些条件下为数据恢复提供了理论保证。张量作为矩阵的高阶推广,在秩定义和优化策略上引入了额外的复杂性。与矩阵情况不同,张量秩的定义并不完善。因此,已经研究了各种张量秩的定义及其凸松弛方法来表征张量的低秩性。这些分解方法包括规范多式(CP)分解 [95],它将张量分解为一系列秩-1 张量的和;Tucker 分解 [96],它提供了分层分解;以及张量列车分解 [97], [98],它为高维张量提供了高效的表示。这些方法将高维张量分解为一系列低维张量,通过揭示潜在的低维结构和模式有效地简化了完成过程。这种策略解决了计算挑战,并提供了一种更易于理解多维数据的方法。

5.1. 基于核范数的正则化
首次将低秩矩阵补全理论用于人体运动数据处理是在 [69] 中提出的。问题 (4) 通过用其核范数替换矩阵秩来解决,这是凸松弛的一个例子,如 [99] 中的定理 1 所示。定理 1 表明,可以通过解决核范数松弛来推导出秩最小化问题最优解的下界。核范数是具有谱范数不超过一的一阶矩阵集合的凸包。此外,当观测到的条目数量满足 m≥Cn6/5rlogn 时,其中 C 是一个常数,r 表示矩阵秩,n 是矩阵维数,对于满足适当不相干条件的矩阵,可以高概率地实现精确的矩阵恢复;见 [88] 中的定理 1.1。然而,在实际场景中这并不总是可行的。此外,核范数对所有奇异值一视同仁,忽略了奇异值在获取矩阵信息时的实际重要性。另外,核范数通常涉及过度缩小的问题,当测量中存在噪声时可能会导致性能下降。

5.1.1. 截断核范数
为了克服核范数的局限性,截断核范数(TNN)方法通过仅最小化较小的奇异值之和并截断较大的奇异值来解决过度缩小的问题 [100]。对于矩阵 X∈Rm×n,截断核范数定义为最小 (m,n)?r 个最小奇异值之和,即 (16)‖X‖r=∑i=r+1min(m,n)σi(X)。由于最大的 r 个非零奇异值不会影响矩阵的秩,截断核范数将它们保留下来,专注于最小化最小 (m,n)?r 个奇异值之和。

5.2. 基于 Schatten p-范数的正则化
为了更好地弥合核范数和实际秩之间的差距,Schatten p-范数涉及计算所有奇异值的 p 次方(0≤p≤1)之和。Schatten p-范数定义为 ‖X‖Spp=∑i=1min(m,n)(σi(X))p。然而,与核范数类似,Schatten p-范数仍然平等对待所有奇异值,而不同的奇异值具有不同的重要性。因此,引入了截断 Schatten p-范数和加权 Schatten p-范数 [101], [102]。

5.2.1. 截断 Schatten-p 范数
对于给定的矩阵 X∈Rm×n,截断 Schatten p-范数定义为最小 (m,n)?r 个最小奇异值的 p 次方(0≤p≤1)之和,可以表示为:‖X‖r,Spp=∑i=r+1min(m,n)(σi(X))p。与核范数相比,截断 Schatten p-范数考虑了奇异值的物理含义,并从缩放下截断较大的奇异值,从而保留了矩阵的主要成分 [102]。此外,与截断核范数相比,可调参数 p 使得截断 Schatten p-范数在处理不同应用时更加灵活。

5.2.2. 加权 Schatten p-范数
加权 Schatten p-范数通过为奇异值分配不同的权重来解决过度缩小的问题。较大的奇异值获得较小的权重,而较小的奇异值获得较大的权重。矩阵 X∈Rm×n 的加权 Schatten p-范数定义为 ‖X‖w,Spp=∑i=1min{n,m}wi(σi(X))p,其中 w=[w1,…,wmin{n,m}] 是一个非负向量,σi 是 X 的第 i 个奇异值。

5.2.3. 幂 Schatten p-范数
为了进一步提高秩函数的近似度,在 [40] 中引入了 Schatten p-范数的 t 次幂:(17)(‖X‖Spp)t=(∑i=1min(m,n)σi(X)p)t,其中 0
5.3. 非线性低秩先验
在数据受到复杂非线性变化的情况下,例如显著的姿势变化、多样的表达方式或变化的照明条件,低秩矩阵补全可能无法恢复具有复杂和多样化结构的数据的细节。为了有效应对非线性数据,引入了基于核的方法 [103], [104], [105]。这些模型通过多核学习来学习组合低秩核。在多核学习过程中使用了测地指数核。测地指数核建立在测地距离上,特别适用于测量黎曼流形上两点之间的距离。在这个背景下,我们将二维球面上的两点的坐标表示为 x∈r3 和 y∈r3。测地指数核表示为:kγ(x,y)=e?dg(x,y)2γ2,其中 γ 是宽度参数,dg 表示点 x 和 y 之间的测地距离,定义为单位:dg(x,y)=arccos?(xty),其中 arccos: [?1,1]→[0,π] 是常见的反余弦函数。函数 φ:f→φ(f) 表示在核函数 ka(fa,fb) 上定义的隐式映射,两个帧 fa 和 fb 的内积定义为 ?φ(fa),φ(fb)?=ka(fa,fb)=∑j=1d∑i=1nwαj,i2kγi(ca,jn,cb,jn),ca,jn 和 cb,jn 分别是 ca,j 和 cb,j 的标准化位置。nw 是宽度参数 γi 的数量,对应于不同的测地指数核 kγi,αj,i 是 kγi 的权重。权重 αj,i 可以排列在以下权重矩阵 a∈rd×na(18)a=(α11…α1na???αd1?αdna)。设 q=[f1,f2,…,fnd] 是由多种类型运动序列组成的大量帧组成的训练集,其中 nq 是 q 中的帧数,qj∈r3×nq 对应于 q 中的所有第 j 个关节。多核学习旨在最小化 φ(q) 的秩。因此,使用 schatten p-范数而不是矩阵的秩,可以将其表示为:(19)rank?(φ(q))≈(tr?(((φ(q))tφ(q))p2))1p=(tr?((kr(q))p2))1p,其中 kr(q) 是定义在 ka(fa,fb) 上的 q 的核矩阵。

5.4. 非负矩阵分解
基于奇异值分解的算法,如核范数,在计算上成本较高,特别是当底层矩阵是高维时。低秩矩阵分解派生了计算复杂性较低的优化算法,特别是那些源自核范数方法的算法 [106]。它是基于数据展现出潜在结构这一事实;通过揭示这些结构,我们可以获得当前数据的压缩表示。对于任何秩最多为 r 的矩阵 m∈rn×m,nnmf 找到近似分解 m≈xy 为非负因子 x∈rn×r 和 y∈rr×m,这可以通过最小化以下方程来实现:(20)minx,y12‖xy?m‖f2,s.tx≥0,y≥0。nnmf 已被有效用于利用数据的低秩特性。它特别适用于具有非负值和低秩结构的数据。

5.5. 张量分解
张量分解将高维张量分解为一系列低维张量,有助于提取有意义的模式并简化张量补全。

cp 分解
cp 分解将多维数据或张量分解为一系列秩-1 张量。对于一个 n 阶张量 x∈ri1×i2×?×in,我们有 x≈∑r=1rλrar(1)°ar(2)°?°ar(n)=[[λ;a(1),a(2),…,a(n)],符号 “°” 表示向量的外积。这意味着张量的每个元素是相应向量元素 xi1,i2,…,in=ai1(1)ai2(2)?ain(n) 的乘积,对所有的 1≤in≤in 都成立。对于任何 n∈{1,…,n},ar(n)∈rin 表示因子(或加载)向量,λr 表示权重参数。矩阵 a(n)∈rin×r 被称为第 n 个因子(或加载)矩阵,指的是来自秩-1 分量的向量的组合,即 a(n)=[a1(n),a2(n),…,ar(n)],λ=diag?[λ1,…,λr]∈rr×?×r 是一个超对角张量,r 是张量秩,也称为 cp 秩。

tucker 分解
tucker 分解将多维张量分解为一个核心张量乘以每个模式的矩阵。对于一个给定的张量 x∈ri1×i2×?×in 的阶为 n,tucker 分解表示为 x=∑s1=1r1∑s2=1r2…∑sn=1rngs1,…,snas1(1)°as2(2)°?°asn(n),=g×1a(1)×2a(2)?×na(n)=[[g;{a}]],其中 g∈rr1×r2×?×rn (rn≤in) 是核心张量,{a} 表示 n 个矩阵的集合,a(n)∈rin×rn 是因子矩阵。tucker 秩;也称为多重近秩;是向量 r=[r1,r2,…,rn],因此我们说 x 是秩-(r1,r2,…,rn) 张量。tucker 分解的矩阵化版本表示为:x(n)=a(n)g(n)(a(n)?…a(n+1)?a(n?1)….?a(1))t,其中 g(n) 表示 g 的模式-n 矩阵化,xt 表示矩阵 x 的转置。 且 t≥1。参数 t 在控制秩近似度方面提供了额外的灵活性,实证研究表明在 t=2 和 p=0.5 时运动捕捉应用中的性能最佳 [40]。 5.3. 非线性低秩先验 在数据受到复杂非线性变化的情况下,例如显著的姿势变化、多样的表达方式或变化的照明条件,低秩矩阵补全可能无法恢复具有复杂和多样化结构的数据的细节。为了有效应对非线性数据,引入了基于核的方法 [103], [104], [105]。这些模型通过多核学习来学习组合低秩核。在多核学习过程中使用了测地指数核。测地指数核建立在测地距离上,特别适用于测量黎曼流形上两点之间的距离。在这个背景下,我们将二维球面上的两点的坐标表示为 x∈r3 和 y∈r3。测地指数核表示为:kγ(x,y)=e?dg(x,y)2γ2,其中 γ 是宽度参数,dg 表示点 x 和 y 之间的测地距离,定义为单位:dg(x,y)=arccos?(xTy),其中 arccos: [?1,1]→[0,π] 是常见的反余弦函数。函数 φ:f→φ(f) 表示在核函数 ka(fa,fb) 上定义的隐式映射,两个帧 fa 和 fb 的内积定义为 ?φ(fa),φ(fb)?=kA(fa,fb)=∑j=1d∑i=1nwαj,i2kγi(ca,jn,cb,jn),ca,jn 和 cb,jn 分别是 ca,j 和 cb,j 的标准化位置。nw 是宽度参数 γi 的数量,对应于不同的测地指数核 kγi,αj,i 是 kγi 的权重。权重 αj,i 可以排列在以下权重矩阵 a∈rd×na(18)a=(α11…α1na???αd1?αdna)。设 q=[f1,f2,…,fnd] 是由多种类型运动序列组成的大量帧组成的训练集,其中 nq 是 q 中的帧数,qj∈r3×nq 对应于 q 中的所有第 j 个关节。多核学习旨在最小化 φ(q) 的秩。因此,使用 schatten p-范数而不是矩阵的秩,可以将其表示为:(19)rank?(φ(q))≈(tr?(((φ(q))tφ(q))p2))1p=(Tr?((Kr(Q))p2))1p,其中 kr(q) 是定义在 ka(fa,fb) 上的 q 的核矩阵。 5.4. 非负矩阵分解 基于奇异值分解的算法,如核范数,在计算上成本较高,特别是当底层矩阵是高维时。低秩矩阵分解派生了计算复杂性较低的优化算法,特别是那些源自核范数方法的算法 [106]。它是基于数据展现出潜在结构这一事实;通过揭示这些结构,我们可以获得当前数据的压缩表示。对于任何秩最多为 r 的矩阵 m∈rn×m,nnmf 找到近似分解 m≈xy 为非负因子 x∈rn×r 和 y∈rr×m,这可以通过最小化以下方程来实现:(20)minx,y12‖xy?m‖f2,s.tx≥0,y≥0。nnmf 已被有效用于利用数据的低秩特性。它特别适用于具有非负值和低秩结构的数据。 5.5. 张量分解 张量分解将高维张量分解为一系列低维张量,有助于提取有意义的模式并简化张量补全。 cp 分解 cp 分解将多维数据或张量分解为一系列秩-1 张量。对于一个 n 阶张量 x∈ri1×i2×?×in,我们有 x≈∑r=1Rλrar(1)°ar(2)°?°ar(N)=[[Λ;A(1),A(2),…,A(N)],符号 “°” 表示向量的外积。这意味着张量的每个元素是相应向量元素 xi1,i2,…,in=ai1(1)ai2(2)?aiN(N) 的乘积,对所有的 1≤in≤in 都成立。对于任何 n∈{1,…,n},ar(n)∈rin 表示因子(或加载)向量,λr 表示权重参数。矩阵 a(n)∈rin×r 被称为第 n 个因子(或加载)矩阵,指的是来自秩-1 分量的向量的组合,即 a(n)=[a1(n),a2(n),…,aR(n)],Λ=diag?[λ1,…,λR]∈RR×?×R 是一个超对角张量,r 是张量秩,也称为 cp 秩。 tucker 分解 tucker 分解将多维张量分解为一个核心张量乘以每个模式的矩阵。对于一个给定的张量 x∈ri1×i2×?×in 的阶为 n,tucker 分解表示为 x=∑s1=1R1∑s2=1R2…∑sN=1RNGs1,…,sNas1(1)°as2(2)°?°asN(N),=G×1A(1)×2A(2)?×NA(N)=[[G;{A}]],其中 g∈rr1×r2×?×rn (rn≤in) 是核心张量,{a} 表示 n 个矩阵的集合,a(n)∈rin×rn 是因子矩阵。tucker 秩;也称为多重近秩;是向量 r=[R1,R2,…,RN],因此我们说 x 是秩-(r1,r2,…,rn) 张量。tucker 分解的矩阵化版本表示为:x(n)=A(n)G(n)(A(N)?…A(n+1)?A(n?1)….?A(1))T,其中 g(n) 表示 g 的模式-n 矩阵化,xt 表示矩阵 x>

5.3. 非线性低秩先验
在数据受到复杂非线性变化的情况下,例如显著的姿势变化、多样的表达方式或变化的照明条件,低秩矩阵补全可能无法恢复具有复杂和多样化结构的数据的细节。为了有效应对非线性数据,引入了基于核的方法 [103], [104], [105]。这些模型通过多核学习来学习组合低秩核。在多核学习过程中使用了测地指数核。测地指数核建立在测地距离上,特别适用于测量黎曼流形上两点之间的距离。在这个背景下,我们将二维球面上的两点的坐标表示为 x∈r3 和 y∈r3。测地指数核表示为:kγ(x,y)=e?dg(x,y)2γ2,其中 γ 是宽度参数,dg 表示点 x 和 y 之间的测地距离,定义为单位:dg(x,y)=arccos?(xty),其中 arccos: [?1,1]→[0,π] 是常见的反余弦函数。函数 φ:f→φ(f) 表示在核函数 ka(fa,fb) 上定义的隐式映射,两个帧 fa 和 fb 的内积定义为 ?φ(fa),φ(fb)?=ka(fa,fb)=∑j=1d∑i=1nwαj,i2kγi(ca,jn,cb,jn),ca,jn 和 cb,jn 分别是 ca,j 和 cb,j 的标准化位置。nw 是宽度参数 γi 的数量,对应于不同的测地指数核 kγi,αj,i 是 kγi 的权重。权重 αj,i 可以排列在以下权重矩阵 a∈rd×na(18)a=(α11…α1na???αd1?αdna)。设 q=[f1,f2,…,fnd] 是由多种类型运动序列组成的大量帧组成的训练集,其中 nq 是 q 中的帧数,qj∈r3×nq 对应于 q 中的所有第 j 个关节。多核学习旨在最小化 φ(q) 的秩。因此,使用 schatten p-范数而不是矩阵的秩,可以将其表示为:(19)rank?(φ(q))≈(tr?(((φ(q))tφ(q))p2))1p=(tr?((kr(q))p2))1p,其中 kr(q) 是定义在 ka(fa,fb) 上的 q 的核矩阵。

5.4. 非负矩阵分解
基于奇异值分解的算法,如核范数,在计算上成本较高,特别是当底层矩阵是高维时。低秩矩阵分解派生了计算复杂性较低的优化算法,特别是那些源自核范数方法的算法 [106]。它是基于数据展现出潜在结构这一事实;通过揭示这些结构,我们可以获得当前数据的压缩表示。对于任何秩最多为 r 的矩阵 m∈rn×m,nnmf 找到近似分解 m≈xy 为非负因子 x∈rn×r 和 y∈rr×m,这可以通过最小化以下方程来实现:(20)minx,y12‖xy?m‖f2,s.tx≥0,y≥0。nnmf 已被有效用于利用数据的低秩特性。它特别适用于具有非负值和低秩结构的数据。

5.5. 张量分解
张量分解将高维张量分解为一系列低维张量,有助于提取有意义的模式并简化张量补全。

cp 分解
cp 分解将多维数据或张量分解为一系列秩-1 张量。对于一个 n 阶张量 x∈ri1×i2×?×in,我们有 x≈∑r=1rλrar(1)°ar(2)°?°ar(n)=[[λ;a(1),a(2),…,a(n)],符号 “°” 表示向量的外积。这意味着张量的每个元素是相应向量元素 xi1,i2,…,in=ai1(1)ai2(2)?ain(n) 的乘积,对所有的 1≤in≤in 都成立。对于任何 n∈{1,…,n},ar(n)∈rin 表示因子(或加载)向量,λr 表示权重参数。矩阵 a(n)∈rin×r 被称为第 n 个因子(或加载)矩阵,指的是来自秩-1 分量的向量的组合,即 a(n)=[a1(n),a2(n),…,ar(n)],λ=diag?[λ1,…,λr]∈rr×?×r 是一个超对角张量,r 是张量秩,也称为 cp 秩。

tucker 分解
tucker 分解将多维张量分解为一个核心张量乘以每个模式的矩阵。对于一个给定的张量 x∈ri1×i2×?×in 的阶为 n,tucker 分解表示为 x=∑s1=1r1∑s2=1r2…∑sn=1rngs1,…,snas1(1)°as2(2)°?°asn(n),=g×1a(1)×2a(2)?×na(n)=[[g;{a}]],其中 g∈rr1×r2×?×rn (rn≤in) 是核心张量,{a} 表示 n 个矩阵的集合,a(n)∈rin×rn 是因子矩阵。tucker 秩;也称为多重近秩;是向量 r=[r1,r2,…,rn],因此我们说 x 是秩-(r1,r2,…,rn) 张量。tucker 分解的矩阵化版本表示为:x(n)=a(n)g(n)(a(n)?…a(n+1)?a(n?1)….?a(1))t,其中 g(n) 表示 g 的模式-n 矩阵化,xt 表示矩阵 x 的转置。>塔克分解(Tucker decomposition)通常是非唯一的,因此在实际应用中经常对核心张量(core tensor)和因子矩阵(factor matrices)施加约束,以确保因子分解具有意义。这些约束条件,如正交性(orthogonality)、非负性(non-negativity)或稀疏性(sparsity),是根据问题的具体要求选择的。当因子矩阵正交时,它们能捕获数据中沿每个张量维度(或模式)的最重要模式或成分。同时,核心张量G的元素代表了不同模式之间的交互程度。

6. 基于矩阵的运动补全方法(Matrix-based motion completion approaches)
6.1. 基于核范数的运动学约束(Kinematic constraints with nuclear norm)
首次使用低秩矩阵补全理论处理人体运动数据的方法见于[69]。在这项工作中,作者同时解决了步行序列数据的补全和去噪问题。他们提出的方法依赖于一个不包含任何运动学信息的低秩先验(prior)。恢复的MoCap矩阵是使用奇异值阈值算法(SVT)[89]获得的。SVT算法通过最小化以下问题来近似核范数:
(21)minX?‖X?‖* + 1/2‖X?F2, s.t. PΩ(X) = PΩ(M).

6.2. 带有骨骼长度约束的核范数(Nuclear norm with bone length constraint)
基于SVT的MoCap补全方法的主要局限性在于,在不同情况下,SVT算法恢复的运动序列中任意两个相邻关节之间的距离不会被保留。为了解决这个问题,在SVT方法中引入了骨骼长度约束[75]。该方法的目的是在整个数据恢复过程中保持关节之间的相对距离。因此,骨架约束的SVT模型表示为:
(22)minX?‖X?? + 1/2‖X?F2, s.t. tx = Vec(X), Ax = b, ‖Ci?‖2 ≤ di, 对于 i=1,…,p,其中 A∈Rm×n 表示x的观测到的条目,b是包含待恢复矩阵M的m个观测到的条目的向量,即 b=PΩ(M)。

6.3. 带有平滑先验的核范数(Nuclear norm with smoothing priors)
MoCap数据恢复问题[21]已被转化为一个鲁棒的矩阵补全问题[72], [73], [107],并利用了低秩结构、MoCap数据的平滑先验[13]以及噪声效应。因此,考虑到运动捕捉数据中噪声的典型存在,不完美运动数据矩阵M的合理表示涉及将其分解为两个部分,如下所示:
M = X + E,其中X代表完整且干净的运动数据,E代表噪声或异常值。在如遮挡等具有挑战性的情况下,骨架常常发生损坏,因此误差矩阵E是稀疏的但未知的。鲁棒矩阵补全模型表示为:
(23)minX, E‖X?? + α‖H?E?1 + β2‖X?T‖F2, s.t. M = X + E,这里 ‖?‖1 是l1-范数,α和β是两个正则化参数,H∈{0,1}d×n是掩码矩阵[6]。在[72]中也使用了类似的优化模型,但使用了截断的核范数而不是标准的核范数,以更好地捕捉人体MoCap数据的低秩结构。

6.4. 多级细粒度融合方法(Multi-level fine-grained fusion method)
[108]引入了一个细粒度分区算子Lcd,该算子自动将运动数据分割成基于解剖学的身体部位,其中d∈{2,3,5}表示不同的分区级别。
(24)X = 1/3∑d∈B∑c=1dXLcd, B={2,3,5}。最终的重建结合了多个分区级别的结果:
(25)minX1/3∑d∈B∑c=1d‖XLcd‖? + β2‖X?T‖F2, s.t. M = X?H, B={2,3,5},其中XLcd表示d级别细粒度分区后的第c个子模块。该方法提供了使用核范数和Schatten p-范数方法的多种表述,允许对相同的分割数据上的不同低秩先验进行比较评估。

6.5. 带有骨架和平滑先验的核范数(Nuclear norm with skeleton and smoothing priors)
在低秩补全问题中引入了一种混合先验[109]。该模型通过结合骨架结构的空间相关性和时间信息来利用骨架约束和运动平滑性。具体来说,时空先验包含了等距约束(isometry constraint),鼓励骨骼长度的一致性,并探索骨架序列之间的空间相关性,以克服具有挑战性的情况下的大关节误差。因此,设M为受损矩阵,X为干净的骨架矩阵,E为稀疏的噪声矩阵(稀疏误差)。时空运动恢复问题表示为:
(26)minX, E‖X?? + λ‖E?1 + γΘiso(X) + μ‖WX?1, s.t. M = X + E,其中Θiso(X)是等距项[11],最后一项是小波变换[14],λ、γ、μ是用于平衡这些项的正则化参数。等距项通过抑制骨骼关节的定位误差来利用骨架序列的空间相关性,而带有稀疏先验的平滑项通过确保恢复运动的分段平滑性来利用骨架序列的时间相关性。这样,所提出的模型可以充分利用骨架运动的特征。

6.6. 基于QR分解的近似SVD(Approximate SVD based on QR decomposition)
虽然核范数最小化为低秩矩阵补全提供了理论保证,但与重复的奇异值分解操作相关的计算开销限制了其实际应用,特别是对于实时运动捕捉应用。为了解决这一限制,引入了一种基于QR分解的近似SVD方法[91]。该方法利用核范数和?2,1范数之间的关系,在保持恢复准确性的同时实现显著的计算节省。该方法将运动矩阵X分解为三个矩阵M∈Rm×r, Q∈Rr×r, 和N∈Rr×n,使得
(27)X = MQN,其中MTM=I且NNT=I,r?min(m,n)表示有效秩。关键洞察是‖X??=‖Q??,允许对较小的矩阵Q进行核范数最小化,而不是整个矩阵X。此外,通过建立关系‖Q??≤‖Q?2,1,用?2,1范数替换了核范数,从而消除了迭代奇异值分解的需要,大大降低了计算成本。

6.7. 带有运动学约束的Schatten p-范数(Schatten p-norm with kinematic constraints)
[70]中提出了截断的Schatten p-范数用于MoCap补全。此外,还使用了平滑性和骨骼长度约束来保持人体运动的时空平滑性和结构特性
(28)minX?‖X?r, Sp + β2‖XD?F2, s.t. H?X = M,且g(X)是计算方程(10)中骨骼长度误差的函数。在人体运动中,可以注意到相似的动作在多个实例中频繁复制,见图6。这样的假设意味着人体运动具有强烈的非局部自相似性(NSS)。受此启发,在[74]中采用了非局部低秩正则化技术用于人体MoCap恢复。为了对人类运动的NSS技术进行建模,定义了用于找到运动序列中所有帧之间最相似姿势的补丁分组。首先,设Pi∈R3d×c是M中的运动补丁,我们通过加权l2距离在整个运动序列中搜索其相似的补丁。补丁分组后,我们为每个示例补丁Pi获得一个形成的数据集Gi=[Pi1, Pi2, …, Pis]∈Rm×h。补全问题基于加权Schatten p-范数,并表示为
(29)minGi‖Gi‖w, Sp, s.t. Hi?Gi = Mi, g(Gi) = 0。

6.8. 非线性低秩方法(Nonlinear low-rank approach)
在[110]中,基于核的低秩矩阵在获得学习到的核kA后通过最小化(19)来处理补全问题,其中p=1。因此,非线性低秩补全问题表示为:
(30)minXTr?((K(Q))1/2) + β2‖XD?F2, s.t. H?X = M, g(X) = 0。LRMC寻求X的最小秩。然而,考虑到某些运动序列的非线性结构,X可能对于MoCap数据来说不是低秩的。因此,非线性低秩最小化特征空间中的秩,这在理论上更合适。尽管非线性化提高了准确性,但代价是计算时间的增加。

6.9. 多子空间低秩方法(Multi-subspace low-rank approaches)
低秩矩阵补全方法假设运动数据位于单一的低维子空间内。然而,这种假设不适用于包含多个不同活动的复杂运动序列,其中连续运动的表现出的秩明显高于单个活动片段[111]。为了解决这一限制,多子空间方法将复杂运动建模为多个低维子空间的组合。离散子空间结构约束通过在统一框架内联合优化子空间聚类和矩阵补全来解决这一挑战。给定一个包含c个不同活动的运动序列X∈R3d×n,DSS的公式表示为:
(31)minX, E, ui, Fi∑i=1c(‖(X ? ui1T)Fi‖Sp)t + λ1‖PΩ(E)‖1 + λ22Θ(X), s.t. X + E = PΩ(M), Fi?{0,1}n×n, ∑i=1cFi=In,其中Fi是对应于第i个子空间的帧的对角指示矩阵,ui是用于居中每个子空间的平移向量,Schatten p-范数的t次幂比核范数提供了更好的秩近似。与之前两阶段方法(依次进行子空间聚类和矩阵补全)不同,这种公式允许两个过程通过联合优化相互受益。算法在给定分割矩阵Fi的情况下求解恢复数据X,以及在给定X的情况下求解分割,从而提高了两个任务的准确性。

6.10. 基于层次块的NNMF(Hierarchical block-based NNMF)
[76]中提出的补全过程结合了自适应NNMF和基于层次块的人体运动数据恢复。运动序列根据基于块的子链运动片段进行处理。所提出的方法包括两个主要层次:
• 内部层次:在这一层次中,通过将骨架数据分解为五个相关块,将运动分割为基于块的子链运动片段。然后,使用自适应NNMF分别恢复每个子链运动的轨迹,通过解决以下问题:
(32)minX, Y‖PΩ(XY?M)‖F2, s.t. X≥0, Y≥0。
• 外部层次:它利用内部层恢复的子链运动片段和MoCap数据中的已知条目来细化相同位置的相应恢复数据。因此,可以从这两个层次获得看起来自然的人体运动。

7. 用于MoCap数据完成的张量分解(Tensor decomposition for MoCap data completion)
张量分解方法通过将多维数据结构分解为核心成分来解决补全问题。这些方法利用了运动数据中固有的时间和空间相关性,相对于基于矩阵的技术具有优势。分解为低维因子有助于保留底层运动模式,同时准确重建缺失值。

7.1. CP分解算法(CP decomposition algorithms)
CP分解的目标是找到一组R个归一化的秩一张量{ar(1)?ar(2)?°ar(N)}r=1R,以最佳地近似X。因此,在[77]中,使用CP分解的MoCap张量补全表示为:
(33)minX, {Ar}r=1RH(X, A1,…, AR)=minX, {Ar}r=1R1/2‖X?∑r=1Rλrar(1)?ar(2)?°ar(N)‖F2, s.t. PΩ(X) = PΩ(M), ‖ar(n)‖2=1, n∈[N], r∈[R],其中Ar=λrar(1)?ar(2)?°ar(N)。在CP分解中归一化加载因子具有一定的优势,例如提高对噪声的鲁棒性,并防止最小化过程给某些成分分配过大的值。鉴于MoCap数据的固有复杂性,引入了两种改进的CP分解变体:SmoothCP和SparseCP。这些改进的分解通过对因子向量施加约束来增强有意义模式的提取,分别利用平滑性和稀疏性属性。平滑性是MoCap数据的一个重要特征,可以有效地用来更准确地预测缺失元素。在SmoothCP分解中,引入了对因子向量的1D总变分约束。
(34)minX, {Ar}r=1RH(X, A1,…, AR)+∑r=1R∑n=1Nαn‖Dtvar(n)‖2, s.t. PΩ(X) = PΩ(M), ‖ar(n)‖2=1, n∈[N], r∈[R],其中{αn}n=1N是控制每个因子向量约束级别的参数。这种方法确保分解尊重人体运动中的平滑过渡。相反,稀疏性侧重于识别和利用数据中最有信息的部分,这在只有少数几个重要元素对整体结构有贡献的情况下至关重要。在SparseCP分解中,通过对因子向量应用l1-范数来引入稀疏性约束。
(35)minX, {Ar}r=1RH(X, A1,…, AR)+∑r=1R∑n=1Nαn‖ar(n)‖1, s.t. PΩ(X) = PΩ(M), ‖ar(n)‖2=1, n∈[R]。SparseCP方法指导分解产生稀疏的因子向量,突出最有信息量的成分并减少冗余。

7.2. 塔克分解算法(Tucker decomposition algorithms)
塔克分解将MoCap张量分解为乘以每个模式的矩阵的核心张量[112]。正交性约束确保每个模式中的成分是独立的,通过用一组独立特征表示每个模式来提高数值稳定性。因此,通过塔克分解的张量补全问题利用这种结构化的低秩表示来重建缺失的张量条目:
(36)minA, G, X1/2‖X?G×1A(1)×2A(2)…×NA(N)‖F2, s.t. PΩ(X) = PΩ(M), A(n)A(n), T=In, n∈[N]。MoCap数据具有固有的时间连续性,运动在连续帧之间平滑演变。鉴于此类数据的高维性质,基于梯度的显式平滑正则化在计算上变得不可行。核范数通过促进低秩结构来保持时间平滑性,这本质上倾向于渐变模式而非突变。通过对MoCap张量的时间模式应用核范数,可以减轻突变,确保重建的运动保持连贯的时间模式。基于塔克的时域核范数方法表示为:
(37)minA, G, X1/2‖X?G×1A(1)×2A(2)…×NA(N)‖F2+λ‖X(1)‖?, s.t. PΩ(X) = PΩ(M), A(n)A(n), T=In, n∈[N]。其中X(1)是X的模式1展开(矩阵化)。所提出的方法在塔克分解框架内利用这种全局平滑性约束,提供了一种计算效率高的方法来保持运动连续性。

8. 最小化算法(Minimization algorithms)
运动捕捉数据的补全问题被呈现为一个最小化问题,目标是通过最小化目标函数来恢复缺失或损坏的运动序列。以下部分回顾了用于解决MoCap补全方法的关键最小化方法。

8.1. 增广拉格朗日乘数(Augmented Lagrange multipliers,ALM)方法
ALM是一种用于解决受限优化问题的优化技术[113], [114], [115]。作为拉格朗日乘数的扩展,ALM解决了处理等式和不等式约束的挑战[116]。标准的受限优化问题表示为:
(38)minxf(x), s.t.A(x)=0,其中f:Rn→R是实值函数,A:Rn→Rm是线性算子。ALM通过引入拉格朗日乘数来定义增广拉格朗日函数。增广拉格朗日函数结合了原始目标函数与与约束相关的惩罚项:
L(x, y, μ)=f(x)+?y, A(x)?+μ2‖A(x)‖F2,其中μ是正则化参数。在每次迭代中,ALM会对X上的增广拉格朗日函数进行交替最小化。在第k次迭代时,ALM执行以下步骤:
x_{k+1} = \arg_\text{min}(f(x) + \mu_k 2\|A(x)\| +yk\|F_2\),
yk_{k+1} = y_k + \mu_k A(x_{k+1}).
完整的算法过程详细见算法1。

8.2 奇异值阈值化(SVT)算法
SVT算法是一种迭代优化技术,主要用于解决矩阵恢复和补全问题[89]。它可以被视为增广拉格朗日方法(ALM)的一种特殊情况。SVT算法旨在从一组噪声较大或不完整的观测数据中恢复一个低秩矩阵。实际上,SVT算法是通过迭代来解决最小化问题(21)的。SVT算法的关键组成部分是奇异值收缩算子。考虑一个秩为r≤min(m,n)的矩阵X∈R^{m×n},其SVD表示为:
X = UΣV^*
其中Σ=diag(σ_1, …, σ_r),U和V分别是m×r和n×r的矩阵,且其列是正交的,奇异值σ_i为正数。对于每个τ≥0,软阈值算子D_τ定义如下:
D_τ(X) = UD_τ(Σ)V^*,
D_τ(Σ) = diag((σ_i ? τ)+),
其中(σ_i ? τ)+=max(0, σ_i ? τ)。固定τ>0和一个标量步长序列δ_k,SVT通过迭代更新矩阵对(X_k, Y_k)k∈N来找到一个低秩解:
{X_k = D_τ(Y_{k-1}, Y_k = Y_{k-1} + δ_k PΩ(M ? X_k)。
完整的算法过程详细见算法2。

8.3 交替方向乘子法(ADMM)算法
ADMM是一种用于解决可以表述为具有线性约束的凸优化问题的优化算法[117], [118]。ADMM算法解决的问题形式为:
min(x, z) f(x) + g(z), s.t. Ax + Bz = c,
其中f和g是凸函数(不一定是可微的),A和B是给定的矩阵,c是给定的向量。问题(41)的最优值可以通过最小化增广拉格朗日函数L(x, z, y) = f(x) + g(z) + ?y, Ax + Bz ? c? + γ^2\|Ax + Bz ? c\|^2来获得。
在每次迭代中,ADMM会对x和z上的增广拉格朗日函数进行交替最小化。在第k次迭代时,ADMM执行以下步骤:
x_{k+1} = \arg_\text{min}(f(x) + γ^2\|Ax + Bz_{k?c}\| + y_k\|F_2\),
zk_{k+1} = \arg_\text{min}(zg(z) + γ^2\|Ax_{k+1} + Bz ? c\| + y_k\|F_2\),
yk_{k+1} = y_k + γ(Ax_{k+1} + Bz_{k+1} ? c),
其中γ是一个正常数。完整的算法过程详细见算法3。

8.4 固定点逼近算法
固定点逼近算法为解决多项式凸优化问题提供了另一种选择,并且具有保证的收敛性质。固定点逼近算法(FPPA)适用于一般形式[107]:
min_X f(X) + g(X) + h(LX),
其中f和g是适当的凸函数,h是可微且凸的函数,L是线性算子。该算法通过固定点方程来表征解。对于正常数λ, P, Q∈S+m,解满足:
U = prox_g^*P(U?P^?1X + P^?1X_0),
X = prox_f(Q(X+Q^?1U^?1λQ^?1LT?h(LX))。
FPPA通过特征分解技术避免了ADMM中所需的矩阵求逆操作,并为ADMM可能无法收敛的三项式问题提供了保证的收敛性。

8.5 块坐标下降(BCD)算法
BCD算法是一种用于解决大规模优化问题的流行方法。它通过一次更新一个变量块来迭代优化函数,同时保持其他块不变。当目标函数可以分解为可以在单独块上轻松优化的组件时,这种方法特别有效。BCD最小化的问题形式为:
min_x f(x) = \min_x^{1, x_2, …, x_s} f(x_1, x_2, …, x_s),
其中变量x被分解为s个块x_1, x_2, …, x_s,f是实值函数,每个xi属于R^n。对于每次迭代k,BCD通过最小化当前块上的目标函数来更新每个变量块:
x_{ik+1} = \arg_\text{min}(x_i g(xi)) = \arg_\text{min}(x_{i+1} f(x_{1k+1}, …, xi^{k?1}, xi, xi^{k+1}, …, x_{sk})。
这个过程对所有块循环重复。BCD因其易于实现且适用于大规模问题而得到广泛应用,特别是当每个块更新可以独立计算时。然而,标准BCD在处理非光滑或受限目标时可能会遇到收敛缓慢和不稳定问题。为了解决这个问题,Proximal Regularized BCD(Prox-BCD)方法在目标函数中引入了一个接近项,有助于稳定更新并提高收敛性[119], [120], [121]。Prox-BCD算法首先使用以下形式的接近点修改:
min_x^{1, x_2, …, x_s} f(x_1, x_2, …, x_s) + ∑_{i=1}^s ρ_i^2\|xi ? x_{ik}\|F_2,
其中ρ_i^2\|xi ? x_{ik}\|F_2是添加到目标函数中的接近项,用于规范更新,防止与当前估计值x_{ik}的较大偏差,ρ_i是正则化参数。给定初始估计x_0=(x_10, x_20, …, x_{s0},算法在(k+1)次迭代中交替更新x_{k+1}=(x_{1k+1}, x_{2k+1}, …, x_{sk+1}):
x_{ik+1} = \arg_\text{min}(x_i f(x_{1k+1}, x_{2k+1}, …, xi^{k?1}, xi, xi^{k+1}, …, x_{sk}) + ρ_i^2\|x ? x_{ik}\|F_2。
两种BCD算法的完整过程详细见算法5。

9. 数据和工具
9.1 运动捕捉数据集
9.1.1 CMU运动捕捉数据库
CMU3包含使用光学运动捕捉系统记录的运动捕捉序列,数据以C3D和ASF/AMC数据格式提供。数据使用Vicon运动捕捉系统捕获,该系统配备12个MX-40红外摄像头,以120 Hz的频率和4百万像素的分辨率在3m × 8m的工作范围内记录。受试者佩戴了41个标记,并穿着时尚的黑色服装。该数据集包含了来自多个受试者在6个类别下执行的各种动作的记录:人类交互、与环境的交互、移动、体育活动、情境和场景以及测试动作。这些记录包括简单的步行动作以及复杂的动作,如武术、舞蹈和体育活动。
9.1.2 HDM05数据集
HDM05包含超过三小时的系统记录和文档齐全的运动捕捉数据,数据以C3D和ASF/AMC格式提供。该数据集涵盖了70多个运动类别,每个类别有10到50次不同的表演者执行。五位表演者对每个动作序列进行了多次重复,还包括一些表演者的即兴动作序列。数据使用Vicon MX系统捕获,该系统包含十二个高分辨率摄像头,六个在可见红色光谱范围内工作,六个在红外光谱范围内工作。所有记录的采样率为120 Hz。摄像头布置的方式提供了大约五米的观察体积。

9.2 MATLAB运动捕捉工具箱
MoCap Toolbox5为在MATLAB环境中分析和可视化运动捕捉数据提供了全面的功能。该工具箱主要设计用于与音乐相关的运动分析,适用于各种研究领域。它支持多种行业标准文件格式,包括.c3d、Qualisys系统的.tsv和.mat格式、WiiDataCapture软件的.bvh和.wii格式。研究人员可以利用该工具箱的专用功能来处理、分析和生成运动捕捉数据的可视化表示,使其成为运动分析研究的重要资源[122]。

10. 讨论
10.1 算法复杂性、鲁棒性和实际考虑
不同的低秩公式为运动捕捉数据补全提供了不同的优势和建议。基于核范数的方法为秩最小化问题提供了凸松弛,并在某些不连贯条件下提供理论保证。然而,它们需要重复进行奇异值分解,每次迭代的复杂度为O(mn/min(m,n))(对于m×n矩阵)。这限制了它们对长运动序列的适用性。此外,核范数最小化倾向于过度收缩奇异值,可能会扭曲重要的运动动态。尽管它们对初始化相对不敏感,但其性能取决于正则化参数的选择,并且可能对噪声敏感,通常需要带有显式稀疏误差模型的鲁棒变体。
Schatten-p范数方法推广了核范数,提供了更灵活的秩近似。它们的计算复杂度与核范数方法相当(每次迭代O(mnr)),但参数p的引入引入了额外的敏感性:较小的p促进稀疏性但可能减慢收敛速度,而较大的p则更像核范数。这些方法可以更好地保留主导运动模式并减少过度收缩,但需要仔细调整参数以平衡准确性和稳定性。在鲁棒性方面,它们比核范数表现得更好,但在严重遮挡或高度损坏的序列下仍可能失败。
矩阵分解方法避免了重复的完整SVD计算,将每次迭代的复杂度降低到O(mnr)。然而,它们本质上是非凸的,性能依赖于秩r和初始化的选择。参数选择不当可能导致收敛到局部最小值。虽然分解方法更具可扩展性,但它们对高噪声和异常值的鲁棒性较差,因为学习到的因子可能会在没有额外正则化的情况下过度拟合损坏的条目。
基于非线性核的方法将运动数据投影到更高维的特征空间,在那里低秩假设对于捕捉标记之间的非线性依赖更为有效。虽然它们提高了复杂或高度关节运动的准确性,但这需要较大的计算成本:核矩阵的构建和分解通常随着序列长度n的增长而呈O(n^2)–O(n^3)的规模。这些方法对核选择(例如,高斯、多项式、测地线)和相关超参数(如核宽度)非常敏感,这些参数强烈影响恢复质量。尽管它们可以对轻微的非线性失真具有鲁棒性,但其性能会因噪声或不匹配的核参数而下降。
张量分解方法将低秩恢复扩展到多维数据,保持了时间、标记和空间坐标之间的相关性。CP分解每次迭代的复杂度为O(R(IJ+IK+JK)),对于I×J×K张量,而Tucker分解的复杂度为O(IJR^3+IKR^2+JKR^1)。尽管它们能够捕捉复杂的多模态依赖性并实现高重建精度,但计算需求和高内存成本限制了它们的应用范围,尤其是对于大规模运动捕捉数据。参数敏感性也很明显:选择多线性秩(R1, R2, R3)需要经验调整,过度估计可能会增加计算量而不会带来明显的准确性提升。它们对结构化噪声相对鲁棒,但由于多模态建模而对长时间间隔和标记放置错误敏感。

10.2 运动先验集成和权衡
将生物力学和平滑性约束纳入低秩公式可以提高运动补全方法的准确性和真实性,但也引入了非平凡的权衡。平滑性约束特别常见,因为它们在计算上易于处理。然而,它们隐含地假设运动轨迹的连续性,这可能并不适用于所有类型的运动。不同阶数的平滑性选择反映了关于潜在运动动态的先验假设。例如,一阶约束强调恒定速度模式,适用于行走或跑步等周期性活动,而二阶约束引入加速度平滑性,使其更适合手势或伸展动作。这些约束在涉及快速变化或接触交互的运动中变得有问题。急动动作、碰撞或物体接触引入的不连续性直接违背了平滑性先验。在这种情况下,约束可能导致重建结果过度阻尼,缺乏自然动态或特征丢失。为此,一个有前景的方向是开发自适应或上下文感知的约束,根据局部运动动态自动调整其强度。这将确保在平滑部分保持生物力学合理性,同时避免过度平滑或 distortion。
运动学约束(如骨骼长度保持)将解剖学知识嵌入恢复过程中。这些约束强制执行固定的骨骼比例和关节连接性,确保重建的姿势在生物力学上是可行的。它们还通过排除不合理的肢体配置来增强对缺失标记的鲁棒性。然而,它们的有效性高度依赖于精确的骨骼校准和可靠的标记放置。在噪声较大或控制不当的捕捉环境中,严格执行骨骼长度约束可能会与损坏的数据产生冲突,引入不自然的关节角度或身体变形等伪影。
生物力学和平滑性先验提供了强大的指导,特别是在数据严重损坏或不完整的情况下,提高了合理性和恢复质量。同时,它们以可能排除有效但意外运动的方式缩小了解空间。这些权衡突显了未来工作需要开发可扩展、抗噪声的公式,以平衡准确性、效率和物理真实性,从而在实际应用中可靠地部署运动捕捉恢复。

10.3 在不同类型运动中的适用性
低秩方法的有效性从根本上依赖于人类运动表现出低维结构的假设。这一假设对于许多常见活动是成立的,但在人类运动的整个范围内面临重大挑战。周期性运动和半周期性运动(如行走、跑步和基本手势)由于其重复性和生物力学约束而具有强烈的低秩特征。这类运动的奇异值分解通常显示快速衰减,表明相对较少的主成分捕获了大部分运动方差。然而,对于非周期性或高度可变的运动,这一基本假设明显减弱。复杂的舞蹈序列和自由式体育活动由于其不可预测的轨迹和创造性变化而表现出更高的内在维度,导致有效秩显著增加,从而降低了完成精度。然而,关节和标记之间的内在相关性(由骨骼结构和生物力学约束强制)部分抵消了这种效应。由于骨骼规定了固定长度关系,运动数据仍然表现出冗余性,这相对于将标记轨迹视为完全独立的情况降低了有效秩。这种结构耦合解释了为什么即使是复杂、非周期性的运动也部分地适合通过低秩恢复方法进行恢复,尽管其准确性与高度规则的运动相比要低。11. 结论与未来方向本文对基于低秩结构的运动捕捉数据恢复方法进行了全面回顾。我们讨论了依赖于运动特性和骨骼结构的方法,以及以引入低秩先验为中心的方法。将运动学约束直接整合到完成过程中(称为MoCap数据先验)已被用来改进低秩矩阵恢复问题。此外,对各种低秩先验的分析为MoCap数据恢复中使用的多样化策略提供了宝贵的见解。基于矩阵的方法,如核范数最小化及其Schatten-p范数扩展,虽然提供了强有力的理论保证,但在计算上要求较高,并且容易出现奇异值过度压缩的问题。矩阵分解降低了计算成本并提高了可扩展性,但引入了非凸性以及对初始化和秩选择的敏感性。基于核的方法能够有效捕捉非线性依赖关系,但在计算上代价较高,并且对核的选择和超参数非常敏感。张量分解将恢复能力扩展到多维数据,但其仍然受到高计算需求的限制。最后,生物力学和时间先验提高了物理合理性和鲁棒性,但在噪声较大的捕捉条件下可能会简化动态或引入伪影。从这一比较性回顾中,几个未来的研究方向显现出来:• 可扩展算法:当前的低秩优化方法通常涉及重复的奇异值分解或高维张量分解,这对于长序列或大规模运动捕捉数据集来说计算成本较高。未来的研究可以探索随机或流式(在线)算法,这些算法可以逐步更新低秩因子,从而实现实时或大规模应用而不牺牲准确性。• 物理先验的整合:当前的约束公式(例如骨骼长度保持、平滑性)通常以固定方式应用于所有运动。然而,它们的严格执行可能会与噪声较大或变化较大的数据产生冲突。一个有前景的未来方向是设计上下文感知或自适应先验,这些先验可以根据运动类型、捕捉质量或对骨骼校准的信心动态调整约束强度。例如,在检测到标记错误时可以放宽骨骼长度约束,而平滑性先验可以根据运动是周期性的还是突然的来适应性调整。这种自适应整合可以在不同的运动场景中平衡物理合理性和灵活性。• 高级张量分解:当前的基于张量的方法仅限于CP和Tucker分解,这些方法面临高计算成本和对秩选择敏感的挑战。未来的研究可以探索更高阶或替代的张量格式,包括Tensor Train、Tensor Ring和Hierarchical Tucker分解。这些模型通过提供更紧凑的表示、提高对长序列的可扩展性以及实现多尺度分析,解决了当前方法的一些核心限制。此外,更高阶的分解允许整合超出时间-标记-坐标结构之外的额外模式,例如多主体交互或多模态信号,从而捕捉更丰富的时空依赖性并在复杂场景中提高鲁棒性。• 多主体运动捕捉:大多数现有算法假设单主体数据,但实际上应用往往涉及多个个体之间的交互(例如双人舞蹈、团队运动、协作任务)。将低秩公式扩展到多主体场景需要捕捉主体间的相关性、处理重叠的轨迹,并确保个体间的骨骼校准一致。这是一个重要但尚未充分探索的方向,它可以扩展运动捕捉恢复在更丰富的社交和协作环境中的适用性。

CRediT作者贡献声明:
S. Mohaoui:方法论、概念化、验证、可视化、写作——原始草稿。
A. Dmytryshyn:方法论、概念化、监督、写作——审稿、验证。

科学写作中生成式AI的声明:
生成式AI仅在写作过程中使用,以增强手稿的可读性和语言表达。

资助:
Carl Tryggers Stiftelse在CTS 22:2196项目的支持下支持第一作者的工作。瑞典研究委员会(VR)在2021-05393项目的支持下支持第二作者的工作。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号