带文本的骨架优化：一种用于动作识别的扩散增强对比学习框架

《Neurocomputing》：Refining skeleton with text: A diffusion-enhanced contrastive learning framework for action recognition

　　

李玉昌|张毅|农雨祥

中国成都，四川大学计算机科学学院

摘要

随着多模态学习的快速发展，结合文本特征的基于骨架的动作识别研究受到了广泛关注。然而，现有方法在文本线索中表达时间关系方面存在局限，无法捕捉动作的时间动态变化。此外，现有方法未能有效对齐骨架与文本模态，仅能对齐序列内部的信息（即在同一动作序列内对齐骨架与文本特征），而忽略了序列间及类别间的特征对齐问题。为解决这些问题，本文提出了一种新的扩散增强对比学习框架（简称ReST-Diff），该框架利用时间增强的文本线索来优化骨架特征，同时实现全局层面的跨模态对齐。具体而言，我们采用预训练的大语言模型作为知识引擎，自动生成涵盖动作的身体部位、时间间隔以及全局语义的多层次文本描述。同时，引入了扩散对齐模块，将对齐任务转化为条件去噪过程，从而学习文本描述与时空骨架特征之间的对应关系。最后，借助具有记忆机制的全局对比学习模块，构建具有全局区分能力的特征空间，显著提升了模型区分相似动作的能力。在3个基准数据集上的实验结果表明，ReST-Diff的性能与其他先进方法相比相当优秀。

引言

作为视频理解的核心任务，动作识别被广泛应用于人机交互、智能视频监控和运动分析等领域。与基于视频的动作识别不同，基于骨架的动作识别将人体姿态表示为关节序列，能够捕捉空间和时间上的运动动态。它不受光照变化的影响，在复杂背景下依然具有较强稳定性，因此具备更强的动作表征能力[25]。

现有的大多数方法[15]、[16]、[37]、[52]都以骨架坐标序列作为输入，采用图卷积网络来建模人体关节之间的空间关系，而[44]则引入文本作为辅助信息，将骨骼动作与语义线索关联起来，以提高模型性能。文本信息包含丰富的先验知识，可直接反映动作的空间特征，并通过隐含的语义顺序提供时间特征。不过，它在表达时间关系方面存在局限，无法捕捉动作复杂的时序动态。尤其是对于动作中的快速运动，模型可能会忽略中间细节，从而导致错误识别。例如，图1展示了两种容易混淆的动作“穿夹克”和“脱夹克”，它们在空间上具有相同的子动作（如头部前倾、抓住夹克、向下拉夹克）。如果动作识别模型忽略中间过程，就很容易将它们视为同一动作。

针对这一问题，本文提出了一种新的多层次文本提示方法，能够全面描述动作的时空特征。具体来说，我们使用GPT-3[2]生成三方面的文本描述：整个动作、身体部位（包括头部、手臂、手、髋部、腿和脚）以及动作序列的时间间隔（开始、中间和结束时间点）。随后，采用预训练的文本编码器[31]提取这些文本的特征。通常，在提取文本特征后，常见的做法是将它们与骨架特征进行比较，以实现两种模态的特征对齐。然而，传统的对齐方法（如交叉注意力或简单对比学习）往往难以弥合骨架的结构信息与文本的高级语义之间的巨大差异，尤其是在有如此细致的文本描述引导时。

为克服这一挑战，我们开发了一种新框架，能够在局部和全局层面实现细粒度的跨模态语义对齐。具体而言，设计了扩散对齐模块用于局部序列内的对齐。该模块并非直接融合特征，而是将特征对齐任务转化为条件去噪过程。与传统基于U-Net的扩散模型不同，我们的DAM采用扩散变换器架构。U-Net在处理图结构数据时往往受到CNN独特归纳偏置的影响，且会丢失下采样信息，而DiT则能利用自注意力机制有效捕捉骨架序列中复杂的时空依赖关系，因此更适合处理人体骨架数据。在此基础上，借助细致的多层次文本描述，我们的模型学会了如何重建带有噪声的骨架特征并实现跨模态对齐。这一过程迫使模型理解时空运动的相应文本语义，从而实现深度的隐式对齐。随后，设计了全局对比学习模块用于全局序列间的区分。该模块维护两个内存库，分别存储由DAM处理得到的去噪骨架特征和文本特征。通过对这些内存库进行对比学习，可以显著提升模型的整体区分能力。这样一来，DAM通过文本引导的条件去噪过程实现局部跨模态对齐，而GCLM则通过构建的实例库和文本库，在全局层面扩大类别间样本的距离，缩小同类样本的距离。这种组合使得该框架既具备细粒度的语义对齐能力，又拥有强大的全局区分能力。

简而言之，本文的贡献可总结如下：

• $?$
  提出了一种多层次文本提示方法，利用GPT-3生成关于整个动作、身体部位和时间段的文本描述，同时以CLIP提取的文本特征作为骨架特征的语义补充。
• $?$
  开发了一种多模态对比学习框架，该框架包含用于通过条件去噪过程实现细粒度序列内对齐的扩散对齐模块，以及用于通过内存库实现跨序列、跨模态对齐的全局对比学习模块。
• $?$
  在NTU RGB + D 60、NTU RGB + D 120和NW-UCLA数据集上进行了大量实验，我们的模型在其他主流方法中表现出了优异的性能。

章节摘录

基于骨架的动作识别

基于骨架的动作识别是根据人体关节点或骨架数据对人类动作进行分类的方法。大多数早期方法依赖循环神经网络或卷积神经网络来处理骨架数据结构。前者[36]、[51]能够捕捉关节序列的时间特征，而后者[14]则弥补了RNN在空间信息建模方面的不足，二者在时空特征方面相互补充。

方法

在本节中，我们将介绍所提出的ReST-Diff框架，该框架整合了扩散对齐模块和全局对比学习模块，旨在通过细粒度的跨模态对齐和强大的全局区分能力来学习骨架表示。首先介绍整体架构，随后详细阐述骨架编码器、文本编码器以及ReST-Diff的其他核心组件。

NTU RGB + D 60

Shahroudy等人[35]开发的数据集是基于骨架的动作识别领域中最常用的数据集之一，其中包含56,880个样本序列和60种不同的动作。每个样本序列都配有包含25个不同关节的骨架标注。所有动作均由40名不同受试者完成，这些动作是通过3台Microsoft Kinect v2相机拍摄的。该数据集有两种标准的评估方案：（1）跨受试者评估：按照受试者将所有数据分开。训练集包含动作

结论

本文提出了一种新的骨架-文本对比学习框架，该框架结合了扩散增强对齐机制与全局对比学习，利用文本信息优化骨架运动表示。我们通过以下方式解决了现有方法的两个主要缺陷：首先，引入了由大语言模型生成的、经过时间增强的文本提示，从而弥补了传统方法在语义丰富度方面的不足

CRediT作者贡献说明

李玉昌：软件实现、研究工作、形式化分析。张毅：写作——审稿与编辑、写作——初稿撰写、指导监督、项目管理。农雨祥：可视化处理、结果验证。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

李玉昌于2023年获得中国成都四川大学的工学学士学位，目前在该校攻读硕士学位。她的研究兴趣主要集中在计算机视觉和图像处理领域。