HiMAE：一种基于高强度掩码的自编码器框架，用于无监督的人类行为识别

《Artificial Intelligence》：HiMAE: High-intensity Mask-based Autoencoder Framework for Unsupervised Human Action Recognition

　　摘要
通过自监督学习减少对标记数据的依赖是人工智能中的一个核心目标，这一范式在基于骨骼的动作识别领域得到了广泛研究。值得注意的是，基于掩码预测的技术显著提高了预训练性能。然而，尽管这些信息在准确的动作识别中起着关键作用，但大多数方法在掩码过程中并未明确利用上下文依赖性。在本文中，我们认为通过全面的掩码表示重建来明确建模人类的上下文依赖性对无监督的人类运动识别更为有效。基于这一想法，我们提出了一种高强度掩码自编码器（HiMAE）用于无监督的3D动作识别。在HiMAE中，我们开发了两种高强度掩码来识别动作序列中表现出显著变化和不确定性的特征。通过这种方式，所提出的HiMAE能够在空间和时间层面明确捕捉人类的上下文依赖性。具体来说，我们提出了一个高熵成分提取模块（High-Entropy Component Extraction Block），通过利用高熵生成策略来学习空间背景下的拓扑相关性。在NTU-60、NTU-120和PKU-MMD等广泛使用的实验数据集上，结果显示HiMAE预训练显著提高了性能，且无需额外的复杂设置即可达到最先进的结果。

引言
由于3D基于骨骼的人类动作识别在人机交互中的众多应用，它在过去十年中受到了广泛关注并得到了深入研究[1]、[2]、[3]、[4]。通过使用各种架构，如基于Transformer的网络[5]、循环神经网络（RNN）[6]、[7]以及图卷积网络（GCN）[8]、[9]、[10]，基于监督的骨骼动作识别技术展示了令人印象深刻的性能。由于这些模型在训练过程中是全监督的，因此需要大量的标记数据。骨骼序列注释是一个繁琐且耗时的过程。此外，在监督的情况下，特别是对于具有大容量和轻微归纳偏置的Transformer模型，可能会出现过拟合。人工智能的一个核心目标是从带有最少标签的原始数据中学习可迁移的表示。因此，从不标记的骨骼数据中学习判别性表示的挑战，即所谓的自监督基于骨骼的动作识别，正成为一个关键的研究领域。
所有自监督技术根据学习范式分为两类：基于重建的或基于对比学习的。凭借其清晰的结构和令人鼓舞的结果，基于对比学习的技术展示了巨大的潜力[11]、[12]、[13]、[14]、[15]、[16]、[17]。在这些技术中，使用了骨骼变换来生成正样本和负样本。例如，[11]提出了一个单视图/跨视图对比学习框架来捕获全面的表示[11]；[12]应用了骨骼间对比学习来丰富骨骼的稀疏输入，从而实现高级语义捕捉[12]。然而，它作为全局表示学习器仍存在某些缺点，这些缺点阻碍了其对3D动作的进一步探索。这些缺点包括过度依赖启发式的动作数据增强，以及缺乏对时间上下文建模的明确限制。因此，许多尝试集中在基于重建的方法上[18]、[19]、[20]、[21]、[22]、[23]，通过预测骨骼数据来获得有效的运动依赖性。例如，[18]提出了一种编码器-解码器循环神经网络，以再生方式重建骨骼序列[18]。
在这些基于重建的方法中，基于MAE的方法[19]、[20]、[22]、[23]、[24]、[25]、[26]通过从掩码动作特征中重建骨骼序列展现了有希望的性能[19]。这些掩码特征是通过特定的掩码自编码器架构获得的[24]。因此，模型可以在自我重建过程中学习这些掩码表示中的紧凑特征。例如，[19]设计了全局和局部注意力机制，通过注意力掩码来学习跨帧的自然关节动态[19]；[23]开发了SkeletonMAE结构，利用先验的人类拓扑知识来指导掩码骨骼关节的重建[23]。然而，大多数方法在掩码过程中并未明确利用上下文依赖性，而这些信息对动作识别至关重要。最近的一项工作[22]设计了一种运动感知的掩码策略，该策略利用运动强度作为先验语义来指导时间运动的重建，而模型仅考虑时间上的上下文依赖性（见图1(a)）。另一项工作[20]采用了帧和关节生成策略来进行时空上下文依赖性的建模；然而，这种时空掩码策略是基于具有特定掩码比的随机掩码，并未明确利用上下文依赖性。例如，“坐下”这个动作往往基于那些表现出显著变化和不确定性的高熵关节（如髋关节、颈部）来识别，而不是踝关节和膝关节。这要求模型从这些高熵关节中学习丰富且有效的特征表示。然而，关节中的随机掩码无法确保从这些高熵关节中获得有效的特征建模。

受到这一观察的启发，我们开发了两种高强度掩码：高熵掩码，用于掩盖在空间背景下表现出显著变化和不确定性的关节；高速度掩码，用于掩盖在时间背景下包含高速度信息的帧（见图1(b)）。这两种高强度掩码试图识别动作序列中表现出显著变化和不确定性的特征，因为这些特征通常携带重要的动作相关信息。因此，通过探索这些特征表示，模型可以被引导学习更丰富、更有效的特征表示，从而提高自监督3D骨骼识别任务的性能和准确性。
基于这两种高强度掩码，我们提出了一种高强度掩码自编码器（HiMAE），利用高强度掩码在空间和时间层面指导重建过程。HiMAE的核心思想是使掩码本身具有语义目的性。现有的骨骼MAE方法主要使用掩码去除输入的一部分，然后重建缺失的骨骼序列或运动信号。然而，不同的掩码选择施加了不同的预处理任务。随机或基于比例的掩码鼓励通用重建，而运动感知掩码则强调动态时间区域。HiMAE进一步询问哪些空间和时间组成部分应该被隐藏，以便它们的重建需要上下文推理。因此，我们使用熵作为空间先验来掩盖具有高拓扑不确定性的关节，使用速度作为时间先验来掩盖具有强运动动态的帧。这将掩码自编码从通用缺失标记恢复转变为高强度的上下文依赖性学习。在我们的HiMAE中，我们构建了一个并行结构（见图2），它包括两个关键组件：空间拓扑上下文相关性学习（STCL），用于学习骨骼空间中的潜在拓扑相关性；以及时间运动上下文依赖性学习（TMCL），引导HiMAE更多地关注语义丰富的时间区域。在STCL中，我们开发了一个高熵成分提取模块（HE-CEB），通过高熵掩码捕获拓扑上下文相关性；而高速度成分提取模块（HV-CEB）通过高速度掩码对运动上下文依赖性进行分类。
我们在三个公开数据集（NTU RGB+D 60[27]和NTU RGB+D 120[28]）上进行了广泛的实验。我们证明，所提出的HiMAE在各种比较指标下显著优于现有最佳方法。主要贡献总结如下：
- 我们提出了高强度掩码自编码器（HiMAE），有效关注语义丰富的时间和空间区域，从而实现更全面和高效的特征表示学习，并实现有效的运动识别。
- 在我们的HiMAE中，开发了高熵成分提取模块（HE-CEB）来捕获拓扑上下文相关性，这被用作先验语义丰富性来指导模型进行紧凑和丰富的表示学习。
- 在三个公共基准数据集上进行了广泛的实验，以验证我们方法的有效性。在半监督评估下，HiMAE在NTU RGB+D 60 XSub和NTU RGB+D 60 XView设置上的性能分别比MAMP[22]高出11.8%和12.8%。

基于骨骼的动作识别
在计算机视觉中，基于骨骼的动作识别是一项基本而困难的任务。虽然传统方法通常关注骨骼关节之间的几何关系[29]、[30]、[31]，但最近的研究中使用了深度神经网络来解决这一任务[32]、[33]、[34]、[35]、[36]。为了更好地处理身体关键点，Du等人[32]建立了一个层次化的RNN。此外，还创造了基于注意力的技术来自动选择视频帧和重要数据。

概述
所提出的HiMAE的整体框架如图2所示。给定输入的骨骼序列，这些序列被输入到空间拓扑上下文相关性学习（STCL）和时间运动上下文依赖性学习（TMCL）中。具体来说，它接受骨骼序列????∈?????×??×????和????∈???×????×????作为输入，并通过从原始骨骼数据中随机选择子序列（即短时间片段）来扩展到一致的时间长度Ts。

数据集
NTU RGB+D 60数据集[27]：NTU-60是使用三个Microsoft Kinect v2传感器捕获的大量人类动作数据集合。它包含56,578个样本，涵盖了40名年龄在10至35岁之间的受试者执行的60个动作类别。每个样本包含关于25个关键关节的信息，可能涉及最多两名受试者。该数据集通常分为两个基准：跨受试者（CS）和跨视图（CV）。CS根据不同的受试者划分训练和验证数据，而CV则根据...

结论与未来工作
本文从基于掩码的自编码器的角度探讨了无监督的人类运动识别。与强调关节自我重建的先前研究不同，我们认为通过全面的掩码表示重建来明确利用人类的上下文依赖性对无监督的人类运动识别更为有效。基于这一见解，我们引入了一种高强度掩码自编码器（HiMAE），它利用高强度掩码来指导...

作者贡献声明
钟建奇（Jianqi Zhong）：验证、方法论、概念化。
王振荣（Zhenrong Wang）：撰写——原始草案、方法论、数据整理。
谭旭（Xu Tan）：监督、项目管理。
曹文 ming（Wenming Cao）：撰写——审阅与编辑、监督、概念化。

利益冲突声明
作者声明他们没有任何已知的财务利益或个人关系可能会影响本文所报告的工作。