基于层次结构的联合对比学习与知识蒸馏方法,用于自监督的三维骨架动作识别

《Expert Systems with Applications》:Hierarchical Joint Contrastive Learning with Knowledge Distillation for self-supervised 3D Skeleton-based Action Recognition

【字体: 大 中 小 】 时间:2026年01月19日 来源:Expert Systems with Applications 7.5

编辑推荐:

  自监督骨骼动作识别中提出分层知识蒸馏框架,通过教师-中间教师-学生三阶段架构与自适应Softmax对比层(SCL)动态选择关键关节,减少冗余特征并提升表示效率,在NTU RGB+D等多基准数据集上达到最优识别性能且降低计算成本。

  
曹文明|穆罕默德·乌斯曼|尹新鹏
中国广东省深圳市深圳大学射频异构集成国家重点实验室,518060

摘要

在基于骨架的自监督动作识别中,对比学习由于其强大的泛化能力而成为一种流行的方法。然而,现有方法通常将所有关节平等对待,忽略了它们对动作区分的不同贡献,这导致了特征冗余和表示不佳。为了解决这一限制,我们提出了一个具有知识蒸馏的层次化关节对比学习框架。该框架采用“教师-中间教师-学生”的流程结构,逐步传递知识。这是通过一种新颖的Softmax对比层(SCL)实现的,该层在每一步自动选择最具区分性的关节来指导这一过程。在包括NTU RGB+D 60、NTU RGB+D 120、PKU-MMD和UAV-Human在内的基准数据集上的广泛实验表明,我们的方法在显著降低计算成本的同时,实现了最先进的识别性能。源代码可在。获取

引言

基于骨架的动作识别专注于从骨架序列中识别人类动作,近年来取得了显著进展。深度网络,如(Yan, Xiong, & Lin, 2018)提出的图卷积网络(GCN),已被广泛探索并有效应用于此任务。大规模数据集,如NTU RGB+D(Shahroudy, Liu, Ng, & Wang, 2016),进一步推动了该领域的发展。尽管监督方法取得了显著成功(Chen, Wang, Gui, 2023, Chi, Ha, Chi, Lee, Huang, Ramani, 2022, Sun, Huang, Wang, Zheng, Qiu, Islam, Xie, Zhou, Xing, Chandrasekaran, et al., 2024, Wang, Wang, 2018),但它们严重依赖于大规模标注数据,而这些数据的收集既费力又耗时。为了减少这种依赖性,自监督表示学习受到了越来越多的关注(Lin, Wu, Zhang, Liu, 2024, Wu, Lin, Zhang, Ma, Liu, 2024b),利用未标记数据学习用于人类活动分析的有效特征。
在自监督范式中,对比学习(Guo, Liu, Chen, Liu, Wang, Ding, 2022, Li, Wang, Ni, Wang, Yang, Zhang, 2021a, Thoker, Doughty, Snoek, 2021)由于其强大的泛化能力和竞争性能(Dong et al., 2023)而成为领先的方法。然而,现有的对比学习方法主要通过数据增强来增加训练多样性,但它们不加区分地处理所有关节,而没有区分它们的重要性。显然,不同动作中关节的重要性是不同的。例如,在挥手动作中,与手相关的关节被优先考虑,而在踢腿动作中,与脚相关的关节变得更加重要。由于缺乏对最具信息量的关节的明确关注,这种统一处理导致了特征冗余。它还增加了计算成本并产生了次优的表示。
最近的工作开始通过引入关节选择机制来解决这个问题。SCD-Net(Wu et al., 2024a)使用全局锚点来连接空间和时间域;然而,它没有探索关节选择和细化。同时,HiCo-Transformer(Dong et al., 2023)引入了一个层次化对比学习框架,但它没有在训练过程中迭代细化其关节表示。这些限制突显了在自监督设置中需要更针对性和更有效的关节选择和表示学习策略。
如图1所示,我们的工作专注于识别最具信息量的关节以实现有效的动作表示。为此,我们提出了一个基于“教师-中间教师-学生”结构的层次化知识蒸馏框架。这种设计的动机是直接从大型教师模型到小型学生模型进行蒸馏的难度,其中显著的容量差距可能导致优化挑战。中间模型架起了这一桥梁,实现了从教师模型的NT个关节,到中间教师的NMT个关节,再到学生模型的NS个关节的逐步关节减少过程。这一细化过程的核心是提出的Softmax对比层(SCL),它通过一种与对比学习紧密结合的策略,自适应地识别和强调每个阶段最具区分性的关节。此外,为了确保层次间知识的一致性和可转移性,应用了蒸馏损失来对齐连续阶段之间的表示。这些组件共同提高了学习表示的质量和效率。
我们在包括NTU-RGB+D(Shahroudy et al., 2016)和NTU-RGB+D 120(Liu et al., 2019)以及PKU-MMD(Liu, Hu, Li, Song, & Liu, 2017)在内的基准数据集上评估了我们的方法,我们的层次化蒸馏策略在自监督动作识别中表现出色。此外,我们还进行了广泛的消融研究,以验证所提出的层次化知识蒸馏框架和关节选择驱动的SCL的有效性。我们的主要贡献总结如下:
  • •
    我们提出了一个具有三个分支的层次化对比学习框架,这些分支具有不同的关节子集分辨率,实现了从粗到细的特征细化。Softmax对比层(SCL)将自适应关节选择与对比学习相结合,以关注最具信息量的关节。
  • •
    我们在各个分支之间应用层次化知识蒸馏,以对齐和传递信息,确保表示的一致性和鲁棒性。这保留了局部关节、时间和全局上下文,弥合了模型之间的容量差距,并提高了区分能力。
  • •
    在基准数据集上的广泛实验表明,我们的方法具有最先进的识别准确性和降低的计算复杂性,表明其在实际应用中具有巨大潜力。
  • 本文的其余部分结构如下:第2节讨论与本研究相关的工作。第3节概述了提出的方法及其主要组成部分。第4节提供了全面的实验结果,包括相关的可视化内容。第5节进行了深入的消融研究。第6节讨论了研究的局限性和未来工作的潜在方向。最后,第7节总结了论文的关键发现和最后的评论。

    章节片段

    基于骨架的动作识别

    基于骨架的动作识别的主要目标是将一系列人体关键点分类为不同的动作类别。科学界对基于骨架的动作识别表现出极大的兴趣,这从(Gupta, Thatipelli, Aggarwal, Maheshwari, Trivedi, Das, Sarvadevabhatla, 2021, Paszke, Gross, Chintala, Chanan, Yang, DeVito, Lin, Desmaison, Antiga, & Lerer, Yang, Wang, Dantcheva, Garattoni, Francesca, Bremond, 2021a)等人的工作中可以看出。以前的方法(Chen, Huang,

    流程概述

    整个流程包括层次化多分支时空编码器(教师 → 中间教师 → 学生)、softmax对比层和层次化知识蒸馏,如图2所示。它以一系列人体关键点作为输入,表示为X∈RC×T×V,其中T表示序列长度,C表示2D/3D空间中的物理坐标数量,V表示关键关节的数量。编码器结合了GCN和Transformer来提取空间

    数据集

    NTU-60(Shahroudy et al., 2016)。NTU-RGB+D数据集是一个广泛用于人类交互任务的基准数据集,提供了多样化的主题和视角。它是基于骨架的动作识别中最常用的数据集之一,包含超过56,880个动作样本,分为60个不同的类别。对于评估,我们遵循两种标准协议:(a) 跨主题(xsub),其中数据来自不同的参与者,以确保主题多样性,

    消融研究

    本节介绍了在NTU-RGB+D数据集上使用跨主题(xsub)协议进行的消融研究。目的是定量评估每个提出组件的贡献,包括层次化知识蒸馏、通过SCL进行关节选择以及关节到关节的对比损失。通过选择性地启用或禁用这些组件,我们评估了它们对模型性能的单独和组合效应。

    局限性和未来工作

    尽管我们的框架在标准化基准测试中表现良好,但它也存在一些局限性,这些局限性指出了未来研究的有价值方向。这些局限性的核心在于当前的关节选择策略。虽然高效,但硬选择机制在现实场景中可能很脆弱;在遇到严重遮挡、姿态估计错误或多个人交互时,它可能会不可恢复地丢弃关键的运动信息

    结论

    本文介绍并验证了一种用于无监督基于骨架的动作识别的新型层次化知识蒸馏框架。我们方法的核心是其教师-中间教师-学生范式,该范式被证明是一种有效的逐步蒸馏和细化关节级别区分性表示的机制。我们工作的一个关键见解是,对比学习和动态关节选择的目标在单一、连贯的框架下得到了统一

    CRediT作者贡献声明

    曹文明:穆罕默德·乌斯曼:尹新鹏:穆罕默德·乌斯曼构思并开发了研究的核心方法。穆罕默德·乌斯曼和尹新鹏实现了计算机程序。实验由穆罕默德·乌斯曼、尹新鹏和曹文明共同完成。该项目由曹文明监督。穆罕默德·乌斯曼修订了研究设计并完善了概念框架。主要手稿由穆罕默德·乌斯曼和尹新鹏起草,曹文明提供了关键的修改意见

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号