基于模糊掩码的超关节引导局部关联群用于自监督骨架动作识别

《Neurocomputing》：Super-joint guided local relation groups with fuzzy mask for self-supervised skeleton action recognition

　　摘要在基于骨架的自监督动作识别中，掩码重建方法通过重建被遮盖的特征来学习动作表示。然而，这些方法通常只建模关节之间的全局关系，而忽略了人类动作中固有的多关节局部协作关系。此外，现有的掩码策略往往依赖于低级运动特征，缺乏高级语义引导。为了解决这些问题，我们提出了一种基于超级关节引导的局部关系组与模糊掩码的框架（SJ-FM）。该框架引入了可学习的超级关节，并通过超图拓扑结构将关节动态划分为局部关系组，从而能够明确建模多关节的协同关系。我们还设计了一种超位置嵌入，利用超相关矩阵生成具有动态感知的位置表示。此外，我们提出了一种基于模糊隶属函数的模糊掩码策略，该策略能在重建过程中引导模型关注具有区分度的区域。在三个大规模基于骨架的数据集上的实验表明，SJ-FM在多种评估指标下均取得了最先进的性能，证明了其有效性。

引言人类动作识别是计算机视觉中的核心任务，旨在从视频数据中解析和分类人类行为模式。它在智能交互[17]、健康监测[18]、安全监控[16]以及虚拟现实[6]等领域具有重要的应用价值。与依赖RGB图像或光流的方法相比，基于骨架的表示方式利用关节坐标来描述人类运动[43]。这种表示方式具有紧凑的数据结构和高计算效率，同时还能更好地抵抗背景干扰、光照变化以及外观变化的影响[33]。不过，目前最先进的方法通常依赖于大规模的标注数据，这导致了较高的标注成本以及有限的模型泛化能力[26]。自监督学习已成为基于骨架的动作识别领域的重要研究方向。通过设计预训练任务，它能够引导模型直接从大量未标注的骨架数据中发现内在的时空结构与语义信息。

目前，基于骨架的表征学习主要沿着两条技术路线发展。对比学习旨在学习语义不变的特征，它通过构建实例区分任务来实现这一目标，该任务会将同一实例的不同增强视图拉在一起，而将不同的视图分开。然而，其性能在很大程度上依赖于精心设计的增强策略，以形成有效的正负样本对，同时还会带来较大的计算开销。另一种主流方法则是掩码自动编码法，它采用生成式预训练范式，通过对输入序列的部分内容进行遮盖，再通过编码器-解码器架构来重建被遮盖的内容。这迫使模型在整体运动背景下理解被遮盖部分的语义和运动规律。掩码重建无需负样本或复杂的 数据增强，通常能带来更高的训练效率与更好的可扩展性。

现有的掩码重建方法通常用于全局建模骨架序列中任意关节对之间的相关性。如图1所示，“穿鞋”这样的动作涉及手部、头部和脚部等多个关节形成的局部协作模式。虽然点对点的全球建模能够有效捕捉长距离依赖关系和简单的关节相关性，但它无法直接建模人类动作中涉及多关节协作的复杂局部关系。这就导致重建过程更倾向于恢复低级的运动模式，而非学习具有区分度的语义表示。为了解决这一局限，我们提出了SJ-FM框架，该框架通过引入超级关节引导的局部关系分组机制，来学习基于骨架的动作中的多关节局部协作关系。首先，我们设计了一种可学习的超级关节引导的局部关系建模机制。通过构建连接骨架关节与超级关节的超相关矩阵，将关节动态划分为多个局部关系组，从而使模型能够明确建模多个关节之间的复杂协同关系。为防止超级关节表示趋于同质化，我们进一步引入了散度损失，以鼓励超级关节的多样性。绝对坐标不足以描述局部组内关节之间的位置关系，为此我们提出了一种超位置嵌入，利用超相关矩阵生成相对位置表示。

此外，主流的掩码重建方法大多采用随机掩码或基于速度、关节角度等低级运动特征的掩码。尽管这些方法简单易行，但存在一个根本性的缺陷：它们缺乏高级语义引导，要么平等对待所有关节，要么只优先考虑运动幅度较大的关节。这样一来，模型就更倾向于恢复低级的运动模式，而非学习具有语义意义的动作表示。为了解决这个问题，我们提出了一种新的模糊掩码策略。与现有方法不同，模糊掩码引入了模糊隶属函数，可直接根据骨架特征本身估计每个时空位置的语义重要性。具体而言，它定义了多个模糊集合（如关键、辅助和背景语义），并为每个关节计算出软隶属度得分。随后应用重心去模糊化方法，将模糊权重转换为确定性的语义重要性矩阵，作为掩码生成的依据。这一设计的灵感来源于这样一个观察：动作语义往往是模糊的——某个关节在某种情境下可能很重要，但在另一种情境下则不然——而基于运动幅度的二值掩码无法捕捉到这种细微差别。通过运用模糊逻辑，我们的掩码策略能够自然地处理这种语义不确定性，迫使模型在重建过程中关注具有区分度的区域，从而学习出更具通用性、更高层次的动作表示。

总之，本工作的主要贡献如下：•我们提出了一种超级关节引导的局部关系组机制，能够明确建模多关节的协同关系。同时，我们引入了超位置嵌入，有效捕捉了每个局部组内关节之间的相对位置关系。•我们提出了模糊掩码，它将模糊逻辑引入到骨架掩码建模中。通过为时空位置定义模糊隶属函数，该策略能够在重建过程中引导模型关注具有区分度的区域。•我们在三个大规模基于骨架的3D动作识别数据集上验证了该方法的有效性，在多种评估指标下均取得了最先进的成果。

章节摘录基于骨架的动作识别人类动作识别是计算机视觉中的核心任务。在这一领域中，由于3D骨架表示具有高效性和鲁棒性，因此越来越受到青睐，因为它们能够为人类运动提供结构化的抽象表示。随着深度学习技术的融入，这一领域发生了重大的变革。ST-GCN[47]率先使用图卷积网络（GCNs）来建模人体固有的时空拓扑结构。此后，CTR-GCN[4]进一步推动了该领域的发展。

概述所提出框架的整个流程如图2所示。为减少空间冗余，采用了[49]中介绍的空间剪枝方法来去除骨骼躯干，以剪枝后的骨骼序列作为输入，其中分别表示帧数、关节数和通道数。随后，将可学习的超级关节与骨骼序列拼接起来，作为局部关系流的输入。原始序列和超级关节

数据集NTU-RGB + D 60：NTU RGB + D 60（NTU-60）数据集是一个基础的大型数据集，包含了56,880个3D骨骼数据序列，这些数据分布在60种不同的动作类别中。这些动作由40个不同的个体执行，并从多个摄像机视角进行捕捉。该数据集通常通过两种主要评估方式来进行评测：基于表演者身份的分类评估（X-sub），以及基于摄像机视角的分类评估（X-view）。

结论本文提出了一种用于基于骨架的自监督动作识别的超级关节引导的局部关系组与模糊掩码框架（SJ-FM）。我们的核心观点是，有效的表征学习既需要明确建模多关节的协同关系，也需要具备语义意识的掩码引导。为此，我们引入了一种可学习的超级关节机制，该机制通过超相关矩阵将关节动态划分为局部关系组，从而实现结构化的建模。

CRediT作者贡献说明刘松凌：写作——审阅与编辑、写作——初稿撰写、可视化、方法论。尹新鹏：写作——审阅与编辑、可视化、项目管理、形式分析、概念构思。曹文明：验证、监督、资源获取、资金筹措、概念构思。季建华：验证、监督、形式分析。

利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。刘松凌目前正在中国深圳大学攻读通信工程硕士学位，他的研究兴趣包括人工智能、计算机视觉和机器学习。

刘松凌|尹新鹏|曹文明|季建华中国广东省深圳市南海大道3688号，深圳大学电子与信息工程学院，邮编518060，射频异构集成国家重点实验室