基于骨架转换与动态图卷积的雷达点云人体活动识别新方法

《Machine Learning with Applications》:SK-DGCNN: Human activity recognition from point cloud data with skeleton transformation

【字体: 大 中 小 】 时间:2026年01月17日 来源:Machine Learning with Applications 4.9

编辑推荐:

  为解决雷达点云数据稀疏、无结构导致的识别难题,研究人员提出SK-DGCNN两阶段框架,通过动态图卷积网络将雷达点云转换为3D骨架,结合ST-GCN++进行动作分类。在MMActivity和DGUHA数据集上分别达到99.59±0.22%和98.72±0.33%的Top-1准确率,为隐私保护场景下的实时活动监测提供了轻量化解决方案。

  
在人工智能蓬勃发展的今天,让机器读懂人类行为已成为医疗监护、智能安防等领域的关键技术。然而,传统基于摄像头或可穿戴设备的活动识别方案面临隐私泄露、环境敏感、用户不适等瓶颈。毫米波雷达技术的出现带来了转机——它能通过频率调制连续波捕捉人体运动形成的点云数据,兼具抗光线干扰和隐私保护的优势。但稀疏、无序的雷达点云如同散落的星辰,难以直接被深度学习模型解读,而直接处理点云又面临计算成本高、标注数据稀缺的困境。
为解决这一挑战,研究团队创新性地提出了一种两阶段处理框架。该研究的核心思路在于搭建一座连接无序点云与结构化动作理解的桥梁:先将雷达点云转换为直观的3D人体骨架,再利用成熟的骨架识别技术完成动作分类。这种思路巧妙结合了雷达的隐私保护特性和骨架数据的高效表示优势。
研究团队首先设计了SK-DGCNN(骨骼动态图卷积神经网络)模型,专门用于从雷达点云中估计人体关节点坐标。该模型基于DGCNN架构,引入动态边缘卷积来捕捉点云中的局部几何特征,同时加入高效通道注意力机制优化特征学习。最具创新性的是,研究人员设计了一种融合均方误差和KL散度的损失函数,不仅关注关节点坐标的精确度,更注重保持整体骨骼结构的合理性。此外,团队还采用了循序渐进的训练策略,按照z→x→y轴的顺序逐步学习空间坐标,有效提升了模型收敛稳定性。
在第二阶段,研究采用ST-GCN++(时空图卷积网络++)对生成的骨架序列进行分类。该模型将人体关节视为图结构中的节点,肢体作为边,通过图卷积捕捉空间关系,结合时间卷积分析动作演变规律,最终实现高效准确的动作识别。
技术方法上,本研究主要运用了动态图卷积神经网络进行点云特征提取和骨架坐标回归,采用结合MSE和KL散度的混合损失函数保持骨骼形态,引入高效通道注意力机制优化特征权重,并使用时序图卷积网络ST-GCN++进行骨架序列的动作分类。实验数据来源于MMActivity和DGUHA两个公开雷达数据集。
4.3.1 姿态估计性能
通过对比基线CNN方法,SK-DGCNN在19个关节点上的平均绝对误差降低至7.58厘米,尤其在躯干关节估计上表现优异。虽然肢体末端关节因遮挡和运动复杂性仍存在挑战,但整体骨架结构更加连贯合理。
4.3.2 形状保持损失函数的有效性
研究发现,单纯优化坐标误差的均方误差损失无法保证骨架的解剖合理性。而加入KL散度项后,模型在保持局部精度的同时,更能维护全局骨骼形态,为下游分类任务提供了更高质量的骨架数据。
4.3.3 顺序多任务学习的影响
按z→x→y轴难度递增的顺序训练策略显著提升了模型稳定性。这种课程学习方式使模型先掌握雷达数据中最稳定的垂直方向信息,再逐步学习更具挑战性的横向和深度运动特征。
4.3.4 动作分类性能
在MMActivity数据集上,该方法达到了99.59±0.22%的Top-1准确率和99.59±0.22%的F1分数;在DGUHA数据集上获得98.72±0.33%的Top-1准确率和98.72±0.33%的F1分数。三次独立实验的微小标准差证明了方法的稳健性和可重复性。
4.3.5 消融实验:损失函数与ECA注意力
单独使用MSE损失时模型Top-1准确率为99.16%,加入KL散度后提升至99.25%,且Top-5准确率达到100%,表明形状保持损失有效提升了模型置信度。同时,包含ECA注意力的模型在各关节上的平均绝对误差均低于无注意力版本。
4.3.6 各类别性能分析
混淆矩阵显示,所有动作类别均达到98.78%以上的精确率和召回率,表明方法对不同动力学特征的活动具有均衡的识别能力,未见明显过拟合迹象。
该研究通过创新的两阶段框架成功解决了雷达点云人体活动识别的核心挑战。SK-DGCNN模型在保持隐私的前提下实现了从稀疏点到结构化动作的精准转换,其提出的形状保持损失和顺序学习策略为类似任务提供了重要借鉴。实验结果表明,该方法在多个数据集上均达到领先水平,且具有优异的稳定性,为医疗监护、智能家居等隐私敏感场景的应用奠定了基础。未来研究方向包括扩展至多人场景、探索端到端训练策略以及增强跨数据集泛化能力。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号