基于骨架的动作识别专注于从骨架序列中识别人类动作,近年来取得了显著进展。深度网络,如(Yan, Xiong, & Lin, 2018)提出的图卷积网络(GCN),已被广泛探索并有效应用于此任务。大规模数据集,如NTU RGB+D(Shahroudy, Liu, Ng, & Wang, 2016),进一步推动了该领域的发展。尽管监督方法取得了显著成功(Chen, Wang, Gui, 2023, Chi, Ha, Chi, Lee, Huang, Ramani, 2022, Sun, Huang, Wang, Zheng, Qiu, Islam, Xie, Zhou, Xing, Chandrasekaran, et al., 2024, Wang, Wang, 2018),但它们严重依赖于大规模标注数据,而这些数据的收集既费力又耗时。为了减少这种依赖性,自监督表示学习受到了越来越多的关注(Lin, Wu, Zhang, Liu, 2024, Wu, Lin, Zhang, Ma, Liu, 2024b),利用未标记数据学习用于人类活动分析的有效特征。
在自监督范式中,对比学习(Guo, Liu, Chen, Liu, Wang, Ding, 2022, Li, Wang, Ni, Wang, Yang, Zhang, 2021a, Thoker, Doughty, Snoek, 2021)由于其强大的泛化能力和竞争性能(Dong et al., 2023)而成为领先的方法。然而,现有的对比学习方法主要通过数据增强来增加训练多样性,但它们不加区分地处理所有关节,而没有区分它们的重要性。显然,不同动作中关节的重要性是不同的。例如,在挥手动作中,与手相关的关节被优先考虑,而在踢腿动作中,与脚相关的关节变得更加重要。由于缺乏对最具信息量的关节的明确关注,这种统一处理导致了特征冗余。它还增加了计算成本并产生了次优的表示。
最近的工作开始通过引入关节选择机制来解决这个问题。SCD-Net(Wu et al., 2024a)使用全局锚点来连接空间和时间域;然而,它没有探索关节选择和细化。同时,HiCo-Transformer(Dong et al., 2023)引入了一个层次化对比学习框架,但它没有在训练过程中迭代细化其关节表示。这些限制突显了在自监督设置中需要更针对性和更有效的关节选择和表示学习策略。
如图1所示,我们的工作专注于识别最具信息量的关节以实现有效的动作表示。为此,我们提出了一个基于“教师-中间教师-学生”结构的层次化知识蒸馏框架。这种设计的动机是直接从大型教师模型到小型学生模型进行蒸馏的难度,其中显著的容量差距可能导致优化挑战。中间模型架起了这一桥梁,实现了从教师模型的NT个关节,到中间教师的NMT个关节,再到学生模型的NS个关节的逐步关节减少过程。这一细化过程的核心是提出的Softmax对比层(SCL),它通过一种与对比学习紧密结合的策略,自适应地识别和强调每个阶段最具区分性的关节。此外,为了确保层次间知识的一致性和可转移性,应用了蒸馏损失来对齐连续阶段之间的表示。这些组件共同提高了学习表示的质量和效率。
我们在包括NTU-RGB+D(Shahroudy et al., 2016)和NTU-RGB+D 120(Liu et al., 2019)以及PKU-MMD(Liu, Hu, Li, Song, & Liu, 2017)在内的基准数据集上评估了我们的方法,我们的层次化蒸馏策略在自监督动作识别中表现出色。此外,我们还进行了广泛的消融研究,以验证所提出的层次化知识蒸馏框架和关节选择驱动的SCL的有效性。我们的主要贡献总结如下:
•我们提出了一个具有三个分支的层次化对比学习框架,这些分支具有不同的关节子集分辨率,实现了从粗到细的特征细化。Softmax对比层(SCL)将自适应关节选择与对比学习相结合,以关注最具信息量的关节。
•我们在各个分支之间应用层次化知识蒸馏,以对齐和传递信息,确保表示的一致性和鲁棒性。这保留了局部关节、时间和全局上下文,弥合了模型之间的容量差距,并提高了区分能力。
•在基准数据集上的广泛实验表明,我们的方法具有最先进的识别准确性和降低的计算复杂性,表明其在实际应用中具有巨大潜力。
本文的其余部分结构如下:第2节讨论与本研究相关的工作。第3节概述了提出的方法及其主要组成部分。第4节提供了全面的实验结果,包括相关的可视化内容。第5节进行了深入的消融研究。第6节讨论了研究的局限性和未来工作的潜在方向。最后,第7节总结了论文的关键发现和最后的评论。