基于多流部分感知时空图卷积网络的遮挡骨架人体动作识别研究

为解决遮挡环境下骨架数据不完整导致的动作识别准确率下降问题，研究人员提出了一种多流部分感知时空图卷积网络（MSPAST-GCN）。该模型通过输入抑制模块（IIMS）、部分感知时空图卷积（PAST-GCN）和预测分数抑制（PSI）三重设计，有效提取遮挡条件下的局部与全局特征。实验表明，模型在NTU RGB+D 60等数据集上识别准确率提升6%，为复杂场景下的动作识别提供了鲁棒性解决方案。

　　

在智能监控、人机交互等领域，基于骨架的人体动作识别（HAR）因其对光照和背景变化的鲁棒性成为研究热点。然而，现实场景中遮挡问题普遍存在——当关键关节被物体遮挡时，传统模型如循环神经网络（RNN）或图卷积网络（GCN）的识别性能显著下降。现有方法虽尝试处理噪声数据，但难以应对动态遮挡与环境干扰，亟需开发能适应部分可见骨架的解决方案。

针对这一挑战，研究人员设计了一种创新性的多流部分感知时空图卷积网络（Multi-Stream Part-Aware Spatial–Temporal GCN, MSPAST-GCN）。该模型通过三项核心技术实现突破：首先，输入抑制模块（Input Inhibition Module for Skeleton Sequences, IIMS）模拟不同遮挡场景，通过随机屏蔽输入关节坐标强制模型学习不完整数据的特征表达；其次，部分感知时空图卷积（PAST-GCN）分层捕获关节间空间关联与时间动态变化，利用相对坐标和时序差分增强特征判别力；最后，预测分数抑制（Predicted Score Inhibition, PSI）机制在输出层引入随机噪声，进一步提升模型抗干扰能力。实验采用NTU RGB+D 60等公开数据集，并构建合成遮挡数据集验证性能。

研究结果部分显示：在输入抑制模块中，通过随机屏蔽20%-50%关节点的训练策略，使模型在真实遮挡测试集上的准确率较基线模型提升4.2%。部分感知时空图卷积通过分层聚合邻近关节特征，有效区分局部动作模式（如手部细微动作）与全局姿态变化。预测分数抑制模块通过干扰输出得分分布，迫使网络依赖更鲁棒的特征组合，最终在NTU RGB+D 120数据集上达到89.7%的跨视角识别准确率。

结论表明，该研究首次将抑制训练策略系统引入骨架动作识别领域，提出的三重模块协同机制显著提升了模型在遮挡条件下的泛化能力。相较于传统时空图卷积（ST-GCN），新模型对连续帧缺失和关键关节遮挡的容忍度提高31%，为智能监控、康复医疗等实际应用提供了可靠技术路径。未来研究可探索多模态数据融合与自适应遮挡推理机制，进一步突破极端遮挡场景的技术瓶颈。