基于动态时空图卷积与全局感知注意力的鲁棒步态识别模型DGait

《Engineering Science and Technology, an International Journal》:DGait: Robust gait recognition using dynamic ST-GCN with global aware attention

【字体: 时间:2026年01月04日 来源:Engineering Science and Technology, an International Journal 5.1

编辑推荐:

  本文推荐一项步态识别研究,针对现有ST-GCN方法在关节动态关联和长程依赖建模上的不足,提出多流动态时空图卷积网络(DGait)。该研究通过改进的HOP提取策略均衡关节重要性,引入全局感知注意力(GAA)增强空间-时间关节关联,在CASIA-B、OUMVLP-Pose和GREW数据集上分别达到96.94%、92.7%和72.6%的识别准确率,为模型化步态识别提供了新思路。

  
在人工智能与计算机视觉领域,步态识别作为一种非侵入式的生物特征识别技术,因其远距离、无需配合的应用优势受到广泛关注。然而,传统基于外观的方法易受衣着、携带物等外部因素干扰,而基于骨架的模型方法虽更具鲁棒性,却面临关节动态关联性捕捉不足、长程依赖建模存在偏差等挑战。现有时空图卷积网络(ST-GCN)往往局限于局部邻域卷积,难以建立物理不相邻关节间的动态关联,且多尺度操作易导致近端关节权重过高的问题。
为突破这些瓶颈,孟加拉国工程技术大学(CUET)的Khaliluzzaman与Deb提出了名为DGait的创新框架,该工作发表于《Engineering Science and Technology, an International Journal》。研究团队设计了一种融合多流输入的动态时空图卷积网络(DSTGCN),通过关节、骨骼和运动三流数据早期融合丰富特征表达,采用改进的HOP提取方法均衡远近关节重要性,并在ST-GCN残差路径中嵌入全局感知注意力(GAA)模块,使模型能够动态感知全局上下文信息。关键技术包括基于HRNet的姿态估计、多流特征融合、改进的HOP邻接矩阵构建,以及集成GAA的DSTGCN单元设计。
3. Materials and methods
研究通过HRNet姿态估计器从RGB视频中提取14个关节点的动态骨架序列,构建时空图结构。提出三流输入机制:关节流计算关节点相对于鼻尖的坐标偏移;运动流提取相邻帧间关节位移;骨骼流则编码关节长度与角度信息。针对图卷积中的长程依赖问题,采用广度优先搜索算法改进HOP提取策略,确保远近关节具有同等重要性。核心创新点DSTGCN单元在传统ST-GCN基础上引入GAA模块,通过全局平均池化压缩时空特征,再经1D卷积和Sigmoid激活生成通道注意力权重,增强对物理分离关节的关联建模。
4. Experimental results
在CASIA-B数据集上,DGait在正常行走(NM)、携带包(BG)和穿着外套(CL)条件下平均准确率分别达96.94%、93.56%和90.78%,显著优于GaitGraph2、MS-Gait等对比模型。跨视角测试显示,模型在0°-180°范围内均保持稳定性能,证明其视角不变性。在大规模OUMVLP-Pose数据集上取得92.7%的平均准确率,较Gait-D提升1.7%。特别在真实场景GREW数据集上,模型Rank-1准确率达72.6%,验证了其对复杂环境的适应能力。消融实验表明,三流输入、改进HOP和GAA模块分别带来4.4%、6.6%和4.7%的性能提升。
5. Ablation study
消融研究系统验证了各组件的贡献:基础模型(Set a)仅使用关节流输入,平均准确率为78.10%;加入骨骼与运动流(Set b)后提升至82.46%;引入改进HOP提取(Set c)进一步优化至89.06%;最终集成GAA模块(Set d)达到93.76%的峰值性能。结果表明,GAA机制通过全局上下文注入,有效增强了局部卷积对动态信息的捕捉能力。
本研究提出的DGait框架通过多流特征融合、均衡化邻接矩阵构建和全局感知注意力机制,显著提升了骨架基步态识别的准确性与鲁棒性。其创新性在于将动态时空建模与注意力机制深度融合,解决了传统方法对关节动态关联刻画不足的痛点。该技术为安防监控、医疗康复等领域的身份认证提供了新思路,未来可进一步探索关节数量优化、遮挡场景适应等方向。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号