《Journal of Electromyography and Kinesiology》：Comprehensive RGBD-based shoulder kinematics using markerless anatomical landmarks detection and a 3D-printed acromial cluster during hand-cycling
编辑推荐：
Ceglia Amedeo|Mulhaupt Lucas|Moissenet Florent|Begon Mick?l|Seoud Lama加拿大魁北克省蒙特利尔市，蒙特利尔大学生物医学工程研究所摘要生物力学反馈可通过为临床医生提供患者表现的客观评估，从而提升康复效果。由于反馈系
Ceglia Amedeo|Mulhaupt Lucas|Moissenet Florent|Begon Mick?l|Seoud Lama
加拿大魁北克省蒙特利尔市，蒙特利尔大学生物医学工程研究所
摘要
生物力学反馈可通过为临床医生提供患者表现的客观评估，从而提升康复效果。由于反馈系统往往依赖昂贵且复杂的动作捕捉技术，研究人员正在探索基于计算机视觉的替代方案。现有方法存在较大的关节角度误差，尤其是在上肢部位，而且忽略了肩胛骨的运动。在本文中，我们提出了一种基于单个前置RGB-D摄像头的方法，该摄像头能利用深度信息自动检测3D解剖标志点位置。我们还使用3D打印的肩峰簇来记录肩胛骨的运动。通过这些标志点以及肩峰簇，结合逆运动学算法，可实现对肩关节运动学的全面估算。我们利用8名参与者的标注图像对卷积神经网络进行微调，随后在该模型上对手摇骑行动作进行了测试。我们的方法与基于参考标记的系统结果高度一致，3D解剖标志点检测的误差平均为5毫米。所得运动学数据与参考系统的数值十分接近，关节角度误差控制在6.3°以内。此外，该算法还能以50赫兹的频率实时输出解剖标志点位置和关节运动学数据。本研究展示了利用单个消费级深度感知摄像头结合3D打印肩峰簇，通过解剖标志点检测精准估算上肢运动学的潜力，为更便捷的临床评估奠定了基础。
引言
人体运动分析是诊断、治疗和预防肌肉骨骼疾病的重要工具。在物理康复领域，它可用于提供实时反馈，并量化异常的运动模式。在功能任务中客观量化上肢运动学数据，对于研究上肢运动障碍以及评估康复干预的效果具有重要意义（Prochazka和Kowalczewski，2015；Kanzler等人，2020）。上肢运动可通过多种系统进行捕捉，包括基于光学标记的系统、惯性系统以及无需光学标记的系统。
基于光学标记的技术常被用于运动学参数的估算。这类系统依靠昂贵的光电摄像头，以亚毫米级的精度追踪放置在解剖标志点上的标记物位置（Topley和Richards，2020）。在临床环境中，由于成本高昂、设置复杂，且需要在穿着紧身或简约服装的受试者身上放置标记物，这类技术的应用面临诸多挑战（Mitchell等人，2023）。不过，由于基于标记的系统精度较高，它们常常被用作评估新兴动作捕捉技术的参照标准。
惯性动作捕捉则是通过在肢体上安装惯性测量单元来记录其随时间的变化方向（Niswander等人，2020）。惯性测量单元具有便携、易于使用且能与普通服装兼容的优点，因此很适合用于临床应用。不过，陀螺仪在长时间使用过程中可能会出现漂移，电磁场也会影响磁力计，从而导致关节角度估算出现误差。与基于标记的系统相比，下肢的误差约为10°（Shuai等人，2022），而上肢的误差则可达30°（Henschke等人，2022）。
基于视觉的无标记系统则利用计算机视觉和卷积神经网络从彩色图像中提取特征（Jogin等人，2018）。卷积神经网络的作用是从图像中提取特定特征，如关节中心或标志点。为了确定这些特征的3D位置，无标记系统通常会使用多台经过校准的彩色摄像头，或者单台消费级彩色深度感知摄像头（RGB-D）（Cai等人，2019）。前者在校准准确的情况下精度很高，但由于需要多台摄像头同步工作，且对频率和分辨率要求高，同时安装空间也较大，因此不适用于临床。而RGB-D摄像头无需额外校准——校准工作已由制造商完成——具备较好的空间精度，使用简单且成本较低，但视野范围有限。虽然RGB-D摄像头可能适合临床环境（Boldo等人，2024），但现有方法在上肢应用时精度不足，上下旋转动作的关节角度估算误差甚至可达30°（Xu等人，2017）。此外，模型的精度还取决于用于训练的标注图像的质量，而这些标注图像往往无法公开获取，因此很难判断模型的训练质量。
对于基于惯性测量单元和基于视觉的方法而言，由于难以准确捕捉锁骨和肩胛骨等骨骼结构，导致肩部结构的建模过于简化。通常情况下，只有肱胸关节会被纳入建模范围，而胸锁关节、肩锁关节和盂肱关节则被忽略（Illyés和Kiss，2006；van Andel等人，2009）。然而，正常的肩部活动范围离不开恰当的肩胛骨运动（Crowe和Elhassan，2016；Voight和Thomson，2000）。对肩胛骨运动功能障碍的诊断和评估，有助于更好地理解肩痛的成因，也为评估康复效果提供重要依据（Panagiotopoulos和Crowther，2019）。此外，肩胛骨运动功能障碍与旋转袖肌群的功能直接相关，对其的评估有助于判断肌肉损伤的情况（Kibler，2012）。因此，尽管无标记系统适合临床环境，但由于缺乏肩胛骨的相关信息，其在临床诊断中的应用能力受到限制。
基于标记的系统可以通过适配动态运动的肩峰标记簇来估算肩胛骨的方向（Karduna等人，2001；van Andel等人，2009；MacLean等人，2014）。不过，肩峰标记簇需要光学校准，且与现有的无标记系统不兼容。
在之前的研究中，我们已经证明了利用单个RGB-D摄像头、放置在解剖标志点上的白色标记物以及3D打印的肩峰簇，能够精准且详细地估算上肢运动学数据（Ceglia等人，2025）。在此基础上，本研究的目的是无需这些标记物，开发一种无标记方案，从而简化整个流程。因此，我们试图通过深度传感器自动检测解剖标志点，实现上肢的全面无标记姿态估算。此外，我们还想捕捉肩胛骨的运动数据，以此弥补现有无标记上肢运动分析方法的缺陷。
为此，我们对深度图像对应的卷积神经网络模型进行了微调，使其能够自动识别皮肤表面的解剖标志点。同时，我们设计了3D打印的肩峰簇，借助RGB-D摄像头即可无需光学校准就能捕捉肩胛骨的运动。通过卷积神经网络检测到的标志点与肩峰簇提供的标志点相结合，不仅能够纳入肩胛骨的运动数据，还能更全面地估算上肢运动学参数。
章节节选
方法
在本研究中，我们以手摇骑行动作作为研究对象，这种动作常被用于康复治疗，有助于提高截瘫患者或中风患者的 cardiovascular健康水平，减少肌肉痉挛，并增强肌肉力量（Pedrazzini等人，2024；Kaupp等人，2018；Hall等人，2022）。本部分将详细介绍使用单个RGB-D摄像头估算上肢运动学的完整流程，内容包括标注数据集的构建（2.1节）、针对手摇骑行动作的卷积神经网络模型微调等内容。
结果
所有受试者中，各模型检测到的解剖标志点位置的均方根误差保持稳定（见表1），不受性别因素影响，误差范围在3.83 ± 1.66到5.42 ± 1.62像素之间。这些结果表明，该模型在处理训练数据时具有很高的稳定性。所有模型的整体误差为4.43 ± 1.35像素，这一数值还不到图像对角线长度的1%。
与基于Vicon的动作捕捉系统相比，这些解剖标志点的3D轨迹平均误差为
讨论
本研究旨在提出一种基于单个RGB-D摄像头的实时无标记方法，通过自动检测解剖标志点并结合3D打印的肩峰簇，实现对上肢运动学的精准估算。我们将所提出的方法与基于光学标记的参考系统进行对比，评估其在解剖标志点定位精度以及关节角度、速度等运动学参数误差传播方面的表现。实验结果表明，该方法的解剖标志点检测精度很高。
结论
我们提出了一种新的方法，通过结合单个RGB-D摄像头与肩峰簇，实现对上肢运动学的精准估算。该方法能够实现实时的解剖标志点检测和逆运动学计算，其结果与传统的基于标记的方法高度一致。这充分体现了使用精度高且成本低廉的系统，在临床环境中评估包括肩部结构在内的上肢运动的巨大潜力。未来我们还将针对更多患者开展可行性研究。
CRediT作者贡献说明
Ceglia Amedeo：论文撰写——初稿撰写，软件开发，方法设计，正式分析，数据整理，概念构思。Mulhaupt Lucas：软件开发，方法设计。Moissenet Florent：论文撰写——审阅与编辑，结果验证，资源准备。Begon Mick?l：论文撰写——审阅与编辑，研究指导，方法设计，资金筹集，概念构思。Seoud Lama：论文撰写——审阅与编辑，研究指导，资源准备，方法设计，概念构思。
关于写作过程中生成式人工智能及人工智能辅助技术的声明
在撰写本论文的过程中，作者们使用了Grammarly、ChatGPT和LanguageTool等工具，用于纠正拼写和语法错误，提升文本的清晰度与流畅性。在使用这些工具之后，作者们又对内容进行了必要的审阅和修改，对最终发表的内容负全责。
