基于骨架的异常步态识别:一种新型自适应时空跨图卷积融合学习网络

【字体: 时间:2025年05月09日 来源:Engineering Applications of Artificial Intelligence 7.5

编辑推荐:

  异常步态精准检测具挑战,传统方法难捕时空动态信息。本研究提出自适应时空跨图卷积融合学习网络,融合自适和跨适邻接矩阵捕关节骨骼互作信息。实验用 57 人数据,LOSO 验证达 99.43% 准确率,优于 SOTA 模型,为临床提供方案。

  
在人体运动分析领域,步态作为双足行走的周期性动作,不仅是日常生活的基础,更是反映神经系统与运动系统健康的重要窗口。随着老龄化社会的到来,由帕金森病、神经退行性疾病等引发的异常步态问题日益凸显,精准识别异常步态对于疾病诊断、跌倒风险预测及治疗效果评估至关重要。然而,传统基于统计方法(如主成分分析 PCA、支持向量机 SVM)和欧氏空间数据(关节角度、步态周期等)的分析手段,难以捕捉骨骼数据中隐藏的关节 - 骨骼交互、跨关节耦合等非规则时空动态特征,导致模型泛化能力不足。如何从骨骼解剖结构中挖掘更具判别性的时空特征,成为步态分析领域的关键科学问题。

为突破这一瓶颈,福建师范大学的研究团队开展了一项针对骨架数据的异常步态识别研究。他们提出一种自适应时空跨图卷积融合学习网络(Adaptive Spatial-Temporal Cross-Graph Convolutional Fusion Learning Network),通过构建包含自适邻接矩阵和跨适邻接矩阵的融合图结构,实现关节图与骨骼图的交互信息融合,进而提升异常步态特征的提取能力。该研究成果发表在《Engineering Applications of Artificial Intelligence》,为临床异常步态的自动化诊断提供了新的技术路径。

研究团队采用的关键技术方法包括:

  1. 跨图融合网络构建:将关节时空步态图与骨骼时空步态图通过自适应邻接矩阵(捕捉关节间耦合、骨骼间交互)和跨自适应邻接矩阵(捕捉关节 - 骨骼耦合)进行融合,形成包含多阶交互信息的融合图。
  2. 时空特征提取模块:通过 3 个 ST-ACGFN(时空自适应跨图卷积融合网络)模块,逐层提取包含关节 - 骨骼交互的时空动态特征。
  3. 数据采集与验证:利用 Kinect 传感器采集 57 名健康参与者的 7 种模拟异常步态(如帕金森步态、蹒跚步态等)和 1 种正常步态的骨架数据,采用留一法(LOSO)交叉验证评估模型性能。

研究结果


1. 模型架构与特征学习机制


研究构建的网络模型通过关节 - 骨骼跨图融合,将传统分离的关节特征(一阶跨关节耦合)与骨骼特征(二阶骨骼交互)进行动态融合。自适邻接矩阵可自动学习关节间、骨骼间的依赖关系,跨适邻接矩阵则捕捉关节与骨骼间的跨模态交互,形成包含 “关节 - 关节”“骨骼 - 骨骼”“关节 - 骨骼” 三重交互信息的融合特征。这种结构显著提升了模型对骨骼解剖结构中隐含异常模式的捕捉能力。

2. 泛化性能评估


在包含 6 种模拟异常步态和 1 种正常步态的数据集上,模型实现了99.43% 的最高识别准确率,显著优于长短期记忆网络(LSTM,Khokhlova 等,2019)、卷积 - 长短期记忆网络(CNN-LSTM,Sadeghzadehyazdi 等,2021)、时空联合注意力图卷积网络(STJA-GCN)等先进模型。实验结果表明,融合邻接矩阵机制可有效增强关节与骨骼图的特征聚合度,在降低计算复杂度的同时提升特征表达能力。

3. 关键贡献验证


通过消融实验证实,跨自适应邻接矩阵的引入对模型性能提升贡献显著(准确率提升约 5%),验证了关节 - 骨骼交互信息在异常步态识别中的关键作用。此外,模型在计算成本(参数量、推理时间)上优于同类模型,展现出临床应用的可行性。

结论与讨论


本研究提出的自适应时空跨图卷积融合网络,通过模拟人体运动解剖结构的图拓扑建模,成功解决了传统方法在骨骼数据时空特征挖掘中的局限性。其核心创新在于:

  • 跨模态特征融合:首次将关节与骨骼的交互关系通过跨图机制显式建模,突破了传统图神经网络仅关注单一模态交互的瓶颈。
  • 自适应机制优化:自适与跨适邻接矩阵的联合学习,使模型能动态捕获不同病理状态下的骨骼 - 关节耦合模式,提升了对复杂异常步态的泛化能力。
  • 临床转化潜力:基于 Kinect 的低成本数据采集方案,结合高准确率与低计算成本的优势,为便携式异常步态筛查设备的开发提供了技术支撑。

该研究不仅为异常步态识别领域提供了新的方法论,也为基于骨骼数据的运动障碍性疾病(如帕金森病、脑卒中后遗症)的早期诊断开辟了新方向。未来研究可进一步扩展至真实临床样本,验证模型在病理步态中的泛化能力,并探索与其他生理信号(如肌电、压力传感)的多模态融合,以提升诊断精度。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号