《Journal of Biomechanics》:Three-Dimensional human motion analysis using LiDAR technology: A systematic review
编辑推荐:
3D LiDAR通过非侵入式捕捉人体动态三维姿态数据,在运动分析领域应用日益广泛,但其处理稀疏无序点云数据的技术挑战仍存。本文系统综述了36项研究,发现CNN模型(如YOLOv3)在人体检测精度达97.7%,PointNet家族在关节定位误差≤30mm,融合LiDAR与IMU数据可提升活动识别准确至98%。主要方法包括对称聚合网络、图神经网络、卷积网络及循环网络,但多目标场景和LiDAR遮挡问题仍是研究瓶颈。
Jiaqi Lai|Mohammad Yavari|Peter Vee Sin Lee|David C. Ackland
澳大利亚维多利亚州帕克维尔市墨尔本大学生物医学工程系,邮编3010
摘要
三维光检测与测距(LiDAR)在人类运动分析领域受到了越来越多的关注,因为它能够无创地捕捉动态的三维姿态数据。然而,从稀疏且无序的点云中准确提取运动信息仍然是一个相当大的挑战。本研究旨在系统地回顾用于人类运动分析的三维LiDAR数据处理方法。搜索过程中使用了五个数据库(Web of Science、Scopus、Medline、PubMed和Embase)来识别利用LiDAR数据进行三维人体运动检测的方法。在筛选了628篇文章后,最终纳入了36项研究。卷积神经网络(CNN)是最常用于从LiDAR数据中检测人体的算法,而PointNet系列则被广泛用于点云特征提取以估计人体关节位置。基于CNN的YOLOv3模型实现了最高的人体检测精度(97.7%),而将三维LiDAR数据与四个惯性测量单元相结合的融合方法实现了最低的平均关节位置误差(30.0毫米)。使用基于CNN的联邦学习框架并结合动态层共享技术,实现了最高的动作识别精度(98%)。集成深度学习技术可以从原始的、稀疏的和无序的点云中有效提取时空运动模式,从而提升基于LiDAR的人类运动分析能力。在提高三维LiDAR系统的可用性方面仍存在重大挑战,尤其是在处理多人场景和确保在LiDAR遮挡情况下的稳健运动分析方面。
引言
人类运动分析在理解人体关节功能方面发挥了关键作用,广泛应用于医疗保健、运动科学、国防、游戏、电影和动画产业以及机器人技术等领域(Haque等人,2020年;Lui等人,2025年;van der Kruk和Reijne,2018年)。由于关节运动的测量可以提供关于神经肌肉骨骼功能的客观信息,运动分析在肌肉骨骼疾病诊断、手术规划、康复、人体工程学、人类表现和伤害风险评估以及人机交互评估中继续发挥着重要作用。
基于标记的光电运动捕捉被认为是临床运动分析的金标准。然而,市面上的运动捕捉系统成本较高,需要较长的设置时间,并且通常仅限于专业的运动分析实验室(Sun等人,2023年)。相比之下,可穿戴传感器(如惯性测量单元IMU)可以记录加速度、陀螺仪和磁力计数据,且不受光照、温度等外部条件的影响,也不受捕捉范围的限制。IMU常用于测量身体各部分的相对角度运动,但无法确定身体在空间中的绝对位置(López-Nava和Mu?oz-Meléndez,2016年)。它们的运动测量还依赖于精确的传感器放置和与骨骼标志点的对齐、传感器融合算法以及漂移校正,这使得实际应用中的精确三维运动估计变得具有挑战性(Yi等人,2021年)。
基于视频的运动分析系统可以使用智能手机和消费级网络摄像头中的红绿蓝(RGB)摄像头从外部视角捕捉全身运动,而无需使用标记。但这些系统通常需要两个或更多的摄像头,可能会引发隐私问题,尤其是在家庭或医疗环境中使用时(Martinez-Martin等人,2021年;Uhlrich等人,2023年;Zheng等人,2024年)。此外,基于视频的系统依赖于可见光,因此对光照条件的变化(如光线不足)非常敏感,这可能会降低跟踪的稳定性(Tatana等人,2025年)。
近年来,三维光检测与测距(3D LiDAR)在人类运动捕捉应用中的使用逐渐增加,因为它能够支持无接触地获取全身三维运动和环境信息(Ul Alam等人,2021年)。它可以在不依赖可穿戴标记或传感器的情况下提供连续的空间测量,并捕捉身体的绝对三维位置,而不是相对的肢体方向。LiDAR不会记录皮肤或面部等可识别的特征,因此减少了与传统基于视频的技术相关的隐私问题。由于LiDAR可以记录传感器视野内所有物体的三维位置和方向,它能够评估人们如何移动以及他们与环境的互动方式。
尽管LiDAR提供了丰富的三维空间信息,但该技术捕获的点云通常稀疏、无序且结构化程度低,这在计算准确的人体运动信息时带来了很大挑战。已经开发了一系列机器学习和深度学习模型框架,将三维LiDAR数据转换为人体运动数据,包括用于处理无序输入的对称聚合网络、表示拓扑关系的图神经网络(GNN)、从投影表示中提取空间信息的卷积神经网络(CNN)以及结合时间连续性的循环神经网络(RNN)(Cong等人,2022年;Li等人,2022年;Lin等人,2024年)。
尽管三维LiDAR在人类运动分析应用中的使用日益增多,但从稀疏点云中提取人体运动学信息的数据处理方法仍不够成熟。本研究的目的是系统地回顾使用LiDAR技术进行人类运动分析的方法论方法及其在人体检测、关节位置估计和动作识别方面的准确性。本研究的结果可能有助于推动LiDAR在移动性测量、远程监控、家庭环境中的远程医疗和康复等方面的应用。
方法
本系统评价遵循PRISMA指南(Page等人,2021年)进行。研究的选择基于标题和摘要的初步筛选,随后进行全文审查。
搜索结果和质量评估
从初步搜索中确定了752项研究,其中131项是重复项。经过标题和摘要的筛选后,根据选择标准获得了131项符合条件的研究进行全文审查。在全文审查过程中,通过手动参考文献检查又纳入了3项研究,同时有96项研究因缺乏数值性能指标(n=16项)或未使用三维LiDAR捕捉运动信息等原因被排除。
讨论
本研究的目的是回顾使用三维LiDAR进行人类运动分析的策略,重点关注人体检测、关节位置估计和日常活动识别的方法。尽管LiDAR作为一种无标记且非侵入性的感测方式,在捕捉三维全身运动方面具有潜力,但由于点云数据的稀疏、不规则和无序特性,基于LiDAR的运动分析仍面临固有的挑战。
结论
LiDAR技术提供了一种非接触式的三维全身运动捕捉解决方案。深度学习方法,特别是PointNet系列神经网络,由于其对称聚合功能,在从无序和稀疏的点云中学习时能够保证排列不变性,因此被广泛用于基于LiDAR的运动分析。本研究的结果表明,基于LiDAR的方法可以实现关节中心位置估计和动作识别。
未引用的参考文献
Cao等人,2022年;Fan等人,2023年;Geiger等人,2013年;Moons等人,2019年。
CRediT作者贡献声明
Jiaqi Lai:撰写——初稿、方法论、研究、形式分析、概念化。Mohammad Yavari:撰写——审阅与编辑、形式分析。Peter Vee Sin Lee:撰写——审阅与编辑。David C. Ackland:
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所报告的工作。