MEMC：用于自监督基于骨架动作识别的高效且最小对比学习掩码建模

《Neural Networks》：MEMC: Masked modeling with Efficient and Minimal Contrastive learning for Self-Supervised Skeleton-based Action Recognition

　　

摘要

无监督 3D 骨架动作识别在鲁棒性和计算效率方面具有优势。然而，主流范式，如掩码骨架建模 (MSM) 和对比学习 (CL)，存在内在局限性：MSM 往往学习的表征区分能力有限，而 CL 可能无法充分捕捉细粒度的结构信息。此外，通过多任务学习 (MTL) 整合这两种范式会导致梯度冲突，从而限制性能。为了解决这些问题，我们提出了 MEMC（具有高效和最小对比学习的掩码建模），这是一个新颖的框架，采用基于层嫁接预训练的高效顺序级联策略。MEMC 首先使用 MSM 学习低级表征，然后通过 CL 细化高级表征，从而避免与 MTL 相关的梯度冲突。为了提高所学表征的区分能力，特别是针对细微动作，我们引入了两种 CL 增强。首先，拓扑距离感知链运动建模结合了骨架拓扑先验，以捕捉沿骨架链的判别性运动模式。其次，具有频带池化 (FBP) 的频带感知对比学习分离并整合了高频细节与低频全局上下文。在三个基准数据集上的大量实验证明了 MEMC 的有效性，并展示了其相比最先进方法的优越性能。

引言

人类动作识别领域已成为计算机视觉研究的一个重要领域，在多个工业部门的自动化系统中具有显著应用，例如交互系统 Wu et al. (2026)、医疗保健 Wu et al. (2025); Yuan et al. (2024) 和自动驾驶车辆技术 Abbasalizadeh and Narain (2025); Gao et al. (2023)。3D 骨架数据作为一种轻量级模态，通常比 RGB 视频数据更鲁棒，非常适合现实世界的应用。近年来，基于 3D 骨架的动作识别引起了越来越多的关注，其中基于手工特征 Vemulapalli et al. (2014); You et al. (2023) 和基于神经网络的方法 Krizhevsky et al. (2012); Yin et al. (2024) 都取得了令人鼓舞的结果。然而，它们对手工标注数据的依赖构成了显著限制。

当前的无监督方法通常分为两种范式：掩码骨架建模 (MSM) 和对比学习 (CL)。MSM 从掩码输入序列中重构缺失的骨架信息，从而学习骨架关节之间的内在关联和结构细节。相反，CL 通过在表征空间中拉近正样本并推远负样本，学习能够区分不同动作类别的判别性特征。尽管基于这两种范式的方法，掩码骨架建模 (MSM) Mao et al. (2023) 和对比学习 (CL) Lin et al. (2023)，已展示了竞争性能，但它们存在内在局限性：MSM 倾向于优先考虑骨架结构重构，这可能忽略了动作判别信息；相比之下，CL 专注于区分动作类别，可能会以忽略骨架关节之间的内部关系为代价。因此，这些方法学习的表征可能无法在下游任务上提供令人满意的性能。因此，如何有效地整合这两种范式以学习更整体和鲁棒的骨架动作表征仍然是一个重要的研究问题。

骨架序列可以被表示为结构化的时空数据，表现出与图像任务中图结构表示相似的特性。对于图像领域的无监督学习，现有研究 Chen, Fan, Girshick, He, 2020, Chen, Xie, He, 2021 表明掩码图像建模 (MIM) 方法在编码器中学习低级特征更有效，而对比学习 (CL) 方法更有效地优化编码器的高级表征。Jiang et al. (2023) 指出，同时优化两个目标的多任务训练会导致梯度更新过程中两个损失之间的冲突，从而降低整体训练有效性。大多数当前结合这两种范式的先进方法，如 Li et al. (2025); Lin et al. (2020); Wang et al. (2022a); Zhang et al. (2023)，采用多任务学习 (MTL) 策略，如图 1(a) 所示。为了调查 Jiang et al. (2023) 指出的 MTL 策略的梯度冲突限制是否适用于基于骨架的动作识别领域，我们分析了代表性最先进方法 Zhang et al. (2023) 训练中的两个损失函数的梯度行为。

遵循 Jiang et al. (2023); Yu et al. (2020)，我们跟踪了代表 MTL 基于方法 PCM³ Zhang et al. (2023) 训练期间的梯度交互项 G_MTL，定义为两个目标梯度的内积。图 1(d) 中观察到的 G_MTL 负值表明，MSM 和 CL 在同时优化期间可能产生冲突的梯度方向。这种梯度干扰使得联合优化更加困难，这与图 1(c) 中的预训练成本比较一致，其中现有方法通常需要比 MEMC 更多的预训练 epoch。相应的理论分析在附录 A 中提供。受这些观察的启发，我们提出了 MEMC，如图 1(b) 所示的两阶段顺序级联框架。MSM 首先通过掩码重构学习编码细粒度骨架结构和时空依赖的表征，然后 CL 随后增强其语义判别性。在 CL 阶段，层嫁接预训练保留了下层结构信息，同时促进高级表征的更新。

此外，如图 2 所示，基于骨架动作识别中的模型往往难以区分仅略有差异的动作。此类动作在其 3D 坐标上仅有轻微差异。我们观察到，由于骨架数据的固有连接性，沿骨架拓扑的链运动变化比原始位置差异提供了更多的判别信息。因此，我们提出了拓扑距离感知链运动建模，利用骨架关节之间的拓扑距离作为先验来构建具有邻近性的拓扑骨架映射 (ToSkeMaP)。然后，ToSkeMaP 生成的带有链运动信息的正样本用于增强对比学习。此外，我们观察到骨架动作在频域中可以被更有效地区分。受此观察启发，我们提出了频带感知对比学习，在频域表征上进行对比学习。此外，由于细微运动模式倾向于存在于高频分量中，而整体运动模式在低频带中被捕捉，我们提出了频带池化 (FBP) 方法，对高频、低频和中频带应用不同的池化策略。以这种方式获得的频率特征保留了整体信息，同时强调了局部细节信息，指导模型关注骨架运动中的细微运动模式。

我们在多个下游任务上进行了综合实验，发现我们的方法始终优于现有的最先进方法。具体来说，我们的贡献有三点：

• •
  我们引入了一个顺序级联框架，整合了 MSM 和 CL，同时避免了同时多任务优化可能引起的潜在梯度冲突。MSM 首先通过掩码重构学习结构感知的骨架表征，之后 CL 作为高效细化阶段以提高语义判别性。
• •
  我们的框架引入了两个关键组件：拓扑距离感知链运动建模和频带感知对比学习。这些组件旨在通过利用骨架拓扑信息和频域特征来提高细微骨架动作的辨别能力。前者使模型能够有效捕捉骨架动作中的运动链运动，而后者提取跨多个频带的丰富运动表征，允许模型感知频域中的全局和细微变化。
• •
  我们在三个广泛使用的基准数据集上进行了综合评估，连同详细的消融研究以评估每个模块的贡献，从而验证了我们提出方法的有效性和通用性。

章节片段

基于掩码骨架建模的方法

在自监督学习中，编码器 - 解码器架构常用于重构骨架序列。P&C Su et al. (2020) 提出了一种新的训练策略，使模型能够使用弱编码器学习更具判别性的特征。随着 Transformer 架构 Vaswani et al. (2017); Wang et al. (2023) 和掩码自编码器 (MAE) He et al. (2021); Wang et al. (2022b); Zhou et al. (2024) 的快速发展，SkeletonMAE Wu et al. (2023) 首次引入了 MAE

框架概述

MEMC 的整体架构如图 3 所示。MEMC 遵循顺序级联设计，包含两个阶段：掩码骨架建模 (MSM) 和对比学习 (CL)。MSM 阶段首先通过基于重构的预训练学习通用的时空运动表征。基于这些预训练表征，CL 阶段进一步提高特征判别性，同时保留结构感知。通过这种渐进式设计，MSM 提供了一个

NTU RGB+D 60 数据集 (NTU-60)Shahroudy et al. (2016)

NTU-60 是基于骨架动作识别的大规模基准。它包含 40 个受试者执行的 60 个动作类别的 56,578 个骨架序列，并由三个不同视角的相机捕获。每个骨架由 25 个关节组成。该数据集提供两种标准评估协议：受试者交叉 (X-Sub) 和视角交叉 (X-View)。

NTU RGB+D 120 数据集 (NTU-120)Liu et al. (2019)

NTU-120 将 NTU-60 扩展到 120 个动作类别，包含 106 个受试者执行的 114,480 个骨架序列。每个骨架由 25 个

结论

在这项工作中，我们介绍了 MEMC，这是一个新颖的混合学习框架，通过顺序级联策略将掩码骨架建模 (MSM) 和对比学习 (CL) 整合用于无监督骨架动作识别。MEMC 的关键见解是，MSM 和 CL 可以通过顺序细化比通过同时多任务优化更有效地整合。我们的方法首先通过 MSM 学习细粒度的时空结构表征，然后

未引用引用

缺失引用算法 1

CRediT 作者贡献声明

吴英飞：写作 – 原始草稿，可视化，软件，方法论。 曹文明：监督，资金获取。 尹新朋：监督。

利益冲突声明

作者声明，他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

吴英飞 | 曹文明 | 尹新朋