基于改进的时间图卷积网络的手势骨架识别及其在传统工艺关键技术节点自动标注中的应用

《Scientific Reports》：Gesture skeleton recognition and key technique node automatic annotation for traditional craftsmanship based on improved temporal graph convolutional network

　　

摘要

传统手工技艺作为非物质文化遗产的重要组成部分，将关键的操作知识编码在熟练工匠的手势中。要数字化保存这些精细的操作技术，需要强大的 recognition 能力和精确的时间标注方法，而现有方法尚未充分解决这些问题。本文提出了一种改进的时间图卷积网络（IT-GCN），用于传统工艺手势骨骼的识别和关键技术节点的自动标注。该架构在标准时空图卷积的基础上进行了三项改进：自适应图拓扑学习，能够捕捉超出固定解剖结构的关节间依赖关系；多尺度时间卷积，能够适应不同的运动节奏；以及通道注意力重校准，用于抑制冗余特征。基于学习到的帧级表示，本文引入了一种两阶段标注策略，结合特征空间差异峰值检测和分类置信度验证，以自动识别关键技术节点——即技能转换发生的关节点。为了进行评估，我们构建了一个专门的数据集 CraftGesture-18，包含来自陶瓷制作、竹编和木雕等12个手势类别的2,160个骨骼序列。实验结果显示，IT-GCN 的识别准确率达到93.7%，比我们比较中表现最好的基线模型 BlockGCN 高出1.3个百分点，比广泛使用的参考模型 CTR-GCN 高出2.7个百分点。标注模块在共识真值数据上的 F1 分数为84.5%，在与完全独立专家标注数据比较时为82.0%，平均时间偏差为2.6帧。由于一部分手势来自分类器从未见过的领域，跨工艺迁移还需要少量的标注资源，我们还量化了标注性能随标注资源增加的情况。消融分析证实了各组成部分的互补作用，其中自适应拓扑学习带来了最大的单项提升。