利用基于智能手机的无标记运动捕捉技术估算手动搬运过程中脊柱的动态负荷
《Applied Ergonomics》:Estimation of dynamic spinal loads during manual lifting using smartphone-based markerless motion capture
【字体:
大
中
小
】
时间:2026年05月18日
来源:Applied Ergonomics 3.4
编辑推荐:
米娜·萨莱希(Mina Salehi)| 阿里·塔赫里(Ali Taheri)| 金正浩(Jeong Ho Kim)
美国俄勒冈州立大学健康学院营养与公共卫生学院,科瓦利斯,俄勒冈州
**摘要**
本研究评估了利用基于智能手机的无标记运动捕捉系统收集的运动学数据来动
米娜·萨莱希(Mina Salehi)| 阿里·塔赫里(Ali Taheri)| 金正浩(Jeong Ho Kim)
美国俄勒冈州立大学健康学院营养与公共卫生学院,科瓦利斯,俄勒冈州
**摘要**
本研究评估了利用基于智能手机的无标记运动捕捉系统收集的运动学数据来动态估计脊柱负荷的可行性。21名参与者执行了各种举重任务,同时记录了基于标记和无标记的运动学数据。基于标记的运动学数据被用于驱动传统的基于优化的肌肉骨骼(MSK)建模流程,以在OpenSim中获得腰骶(L5/S1)压缩力和剪切力的参考估计值。随后开发了两种无标记驱动的方法,并将其与传统方法进行了比较:(1)无标记驱动的MSK建模流程;(2)一种利用MSK建模中间输出(如关节角度和力矩)直接预测L5/S1压缩力和剪切力的机器学习模型,从而省去了耗时的优化步骤。两种方法都相对准确地估计了压缩力,无标记驱动的MSK建模的归一化均方根误差(nRMSE)为12%,基于机器学习的方法为9%。然而,在剪切力估计方面观察到了更大的误差,尤其是在无标记驱动的MSK建模中。总体而言,研究结果支持了使用基于智能手机的无标记运动学数据进行手动举重时脊柱负荷估计的可行性,并强调了将数据驱动的预测算法与传统的基于物理的MSK建模相结合的优势。这种混合建模框架,结合无标记系统,有可能在现场环境中实现快速、低成本且相对准确的脊柱负荷估计。未来的研究应重点改进无标记系统的运动学精度,并提高机器学习模型的泛化能力和准确性,特别是在剪切力预测方面。
**1. 引言**
腰痛(LBP)是全球致残的主要原因,对医疗保健和经济系统造成了巨大负担(S. Chen等人,2022;Vos等人,2020)。2019年,在15-84岁的工作年龄人群中,约有22%的腰痛病例归因于职业人体工程学因素(N. Chen等人,2023)。在这些因素中,如手动物料处理等活动中的强力施加会对脊柱造成过大的机械负荷,这是腰痛发展的一个原因(Marras,2008)。因此,国家职业安全与健康研究所(NIOSH)建议脊柱压缩力不应超过3400牛顿(N),以降低软组织损伤和相关腰痛的风险(Waters等人,1993)。对于重复性和偶尔的脊柱剪切负荷,也提出了700牛顿和1000牛顿的阈值限制(Gallagher和Marras,2012)。因此,准确评估脊柱负荷是否符合这些既定的安全限制在评估和减轻工作相关腰痛风险方面起着关键作用(Marras,2008)。
然而,准确量化脊柱生物力学负荷存在显著的方法学挑战。体内技术,如椎间盘内压力(IDP)测量或植入式仪器,具有高度侵入性、成本高昂且不适用于人体工程学应用(Takahashi等人,2006;Wilke等人,2001)。作为替代方案,已经开发了计算技术,利用可行的实验输入和物理及生物力学原理来非侵入性地估计脊柱负荷(Sibson等人,2024;Dreischarf等人,2016)。脊柱的计算模型大致分为两类:有限元(FE)模型和肌肉骨骼(MSK)模型。FE模型提供了更详细的脊柱结构表示(例如椎骨和椎间盘),并为每个组件分配了不同的材料属性(Knapik等人,2022)。相比之下,MSK模型通常将椎骨表示为通过关节连接的简单刚体。尽管精度较低,但由于其简单性和计算效率,MSK模型在运动和职业生物力学中更为常用,因为它们能够分析更多的受试者和试验(Knapik等人,2022)。
脊柱生物力学建模中的一个常见挑战是分配来自主动结构(即躯干肌肉)和被动结构(即韧带)的内部力量,以平衡由于重力、惯性和外部负荷而产生的外部扭矩(Dreischarf等人,2016;Marras,2000)。在MSK模型中,未知的内部力生成结构(如肌肉和韧带)的数量通常超过可用的运动方程数量,导致系统欠定,存在无限多的可行解(Schultz,1990)。各种MSK建模框架通过不同的策略来解决动态冗余问题,每种策略都有其自身的权衡。一种策略是使用优化技术,通过最小化成本函数(如肌肉应力平方和)来消除冗余(Crowninshield和Brand,1981;Dul等人,1984;Stokes和Gardner-Morse,2001)。虽然这种方法可以估计大量未知的肌肉力量,但它有明显的局限性。具体来说,优化算法无法考虑个体间和个体内的招募策略差异,通常无法准确估计拮抗肌肉的协同激活(El Ouaaid等人,2013;Gagnon等人,2001;Knapik等人,2022;Liu等人,2018)。另一种策略是使用直接测量的躯干肌肉的生理反应(如肌电图(EMG)活动)来计算肌肉力量并解决冗余问题(Granata和Marras,1995;McGill和Norman,1986;Ning等人,2012)。虽然基于EMG的模型通过考虑个体招募策略并更好地表示拮抗肌肉的协同激活提高了准确性,但它们也有自己的局限性。它们通常无法满足平衡方程和外部关节力矩的要求(Cholewicki等人,1995;J. van Die?n和Kingma,2005)。此外,肌肉活动通常通过表面EMG测量,这仅限于表层肌肉,因此深层肌肉活动经常被忽略或通过各种假设进行估计(Cholewicki和McGill,1996;Knapik等人,2022)。鉴于这些局限性,已经引入了结合EMG信号和平衡要求的混合EMG-优化方法(Banks等人,2022;Cholewicki和McGill,1996;Gagnon等人,2011)。然而,包含EMG测量的MSK模型在实际应用中往往不可行,因为它们需要专门的硬件(如EMG传感器),而这些硬件在工业环境中通常不可用(Knapik等人,2022)。因此,基于优化的模型在职业生物力学中更为常用,因为它们不需要额外的设备或EMG研究所需的专门知识,实施起来更加容易(Knapik等人,2022),特别是在像OpenSim这样的开源平台上,OpenSim是一个用于开发和共享MSK模型的平台(Delp等人,2007)。
迄今为止,已经在OpenSim中开发并验证了几个高度详细的脊柱MSK模型。OpenSim中的第一个开源腰椎模型由Christophy等人(2012)开发,包含五个椎间关节和238个肌束(Christophy等人,2012)。该模型后来被修改并整合到其他OpenSim模型中,用于各种应用(Bruno等人,2015;Raabe和Chaudhari,2016;Senteler等人,2016)。Beaucage-Gauvreau等人(2019)修改了该模型的全身版本,并将其定制用于职业举重任务,即全身举重(LFB)模型(Beaucage-Gauvreau等人,2019)。LFB模型已在对称和不对称举重任务中通过静态优化进行了验证(Beaucage-Gauvreau等人,2019)。由于其开源性质和易于使用(基于优化而非基于EMG),它为手动举重任务期间动态脊柱负荷的估计提供了一种可访问且实用的方法。
然而,MSK模型的广泛应用受到其对高质量三维(3D)运动数据的依赖限制,这些数据通常来自基于光学标记的运动捕捉(MoCap)系统(Klein等人,2026)。尽管基于标记的MoCap准确可靠,但由于其昂贵的实验室设置,它不适用于现场评估(Rybnikár等人,2023)。基于惯性测量单元(IMU)的MoCap系统已被引入作为现场使用的便携选项,但它们存在重大缺点,包括侵入性、对陀螺漂移、磁干扰和运动速度的敏感性(Schall等人,2022;H. Chen,2017;Bergamini等人,2014;Amasay等人,2009)。由于这些挑战,脊柱的动态MSK建模尚未在现场环境中得到广泛应用。虽然有一些简化的静态模型可以在不需要测量运动学数据的情况下估计脊柱负荷(例如3DSSPP?),但它们仅允许评估静态姿势,无法考虑举重的动态特性(Beaucage-Gauvreau等人,2019)。因此,这些静态模型很可能低估了手动举重任务期间的脊柱负荷(Ghezelbash等人,2020;Knapik等人,2022)。
近年来,无标记MoCap技术出现,能够在实验室外连续测量3D关节运动学(Scataglini等人,2025;Lam等人,2023;Wade等人,2022)。这种方法使用计算机视觉和深度学习算法直接识别视频中的解剖标志点,从而消除了对反射标记和专用红外(IR)摄像机的需求。多项研究表明,无标记MoCap可以是收集举重任务期间运动学数据的传统基于标记系统的有效替代方法(Greene等人,2022;X. Wang等人,2021;Mehrizi等人,2018)。我们最近的研究表明,基于智能手机的无标记MoCap系统估计的关节运动学的平均均方根误差(RMSE)为9.45°(在矢状面、额状面和横断面上的21个自由度范围内),与八摄像头基于光学标记的MoCap系统相比(Salehi等人,2026)。这种方法的低成本、简单设置和非侵入性使其特别适用于在现场环境中获取举重运动学数据,而在这些环境中传统基于标记的系统不可行。
通过现场环境中的无标记MoCap获取3D关节运动学数据可能有助于使用MSK建模来估计工作任务期间的生物力学需求,从而比常用的观察性人体工程学评估工具提供更准确和客观的腰痛风险评估(Bao等人,2009)。一些先前的研究使用无标记运动学来驱动自上而下的生物力学模型,并估计手动举重期间的腰背生物力学负荷(H. Wang等人,2021;Mehrizi等人,2019,2017)。由于这种方法仅依赖于无标记运动学数据和外部手部力量,它提供了一种在现场环境中估计脊柱负荷的可行方法,无需实验室设备,如基于标记的MoCap和力板。此外,当直接测量动态手部力量(例如使用力传感器或负载单元)不可行时,可以使用简化建模方法,例如对手部施加重力方向的负荷或将每只手的重量增加一半的箱子重量(Akhavanfar等人,2022;Bassani等人,2017;Beaucage-Gauvreau等人,2019;Bruno等人,2017),前提是任务涉及双手对称举重且箱子重量均匀分布。然而,之前使用无标记运动学来驱动生物力学模型的研究主要使用了简化的链接段模型,没有详细的肌肉肌腱结构来量化净脊柱力矩,或者依赖于静态模型,这些模型无法表示举重任务期间脊柱的动态负荷(Bush-Joseph等人,1988;Marras,2008)。因此,使用详细MSK模型通过无标记MoCap估计动态脊柱负荷的潜力尚未得到充分探索。
此外,虽然基于优化的MSK建模可以使用无标记关节运动学作为输入在现场环境中估计脊柱负荷,但传统的MSK建模工作流程包括多个顺序分析,包括受试者特定校准、逆运动学、逆动力学、肌肉力量估计和关节反应分析(Seth等人,2018)。这些多阶段计算流程(特别是迭代优化步骤)耗时、计算密集,并需要MSK模拟方面的经验和专业知识,限制了资源有限和培训不足的研究人员和从业者的应用。数据驱动的方法,包括机器学习(ML)和深度学习(DL),可以通过学习输入运动学和目标运动变量之间的直接关系来帮助解决这些限制(Mundt,2023)。尽管开发此类模型也需要数据处理、模型选择和验证方面的专业知识,但一旦训练完成,数据驱动模型可以提供简单快速的肌肉和关节反应力预测,使它们更具可扩展性,对最终用户经验的依赖性更低(Burton等人,2021)。
先前的研究表明,数据驱动的肌肉骨骼指标预测是可行的。例如,神经网络经常被用来根据标记轨迹和关节角度预测3D地面反作用力和下肢关节力矩(Mundt等人,2020;Mundt等人,2020)。在人体工程学应用中,研究人员开发了基于人工神经网络(ANN)的模型,通过简单的任务相关输入(如躯干矢状角、搬运物体的质量和位置以及搬运技术)来估计脊柱压缩力和剪切力(Aghazadeh等人,2020年;Arjmand等人,2013年)。尽管这些先前的研究表明可以使用数据驱动算法来估计脊柱负荷,但现有模型存在明显的局限性。大多数模型是为静态举重活动开发的,仅限于躯干的矢状面运动,并且需要手动输入变量(如箱子位置),这限制了它们在现实世界环境中分析动态举重任务的适用性。如上所述,无标记的MoCap技术现在允许在没有传统实验室设备的情况下连续监测全身3D运动学。在实地环境中获取丰富的3D运动数据为开发能够估计各种任务条件和举重姿势下动态脊柱负荷的预测算法提供了机会。为了填补这些研究空白,本研究评估了使用基于智能手机的无标记关节运动学来估计对称和不对称举重任务期间L5/S1腰椎压缩力和前后(AP)剪切力的可行性。提出了两种无标记方法,并将其在估计脊柱负荷方面的性能与基于标记的运动学驱动的OpenSim模拟得到的参考值进行了比较。首先,将无标记运动学数据整合到OpenSim中实现的基于优化的MSK建模工作流中,包括模型缩放、逆运动学(IK)、逆动力学(ID)和关节反应分析(JRA),通过自上而下的方法计算L5/S1压缩力和AP剪切力。此外,使用完成的基于标记的OpenSim模拟作为训练数据开发了三个机器学习模型,直接从MKS建模框架的中间生物力学输出预测L5/S1反作用力,从而避免了计算密集型的后续步骤。具体来说,模型1使用了IK中的选定关节角度,模型2使用了IK中的关节角度和角速度,模型3使用了IK中的关节角度以及ID中的L5/S1力矩。因此,模型1和2跳过了ID及其后续步骤,而模型3跳过了ID之后的步骤。预测误差最小的模型(模型3)被选为最终模型,并将其在无标记运动学中预测脊柱负荷的性能与完整的无标记驱动MSK建模工作流进行了比较。最后,评估了各种举重条件(即举高、不对称角度和举重重量)对每种方法性能的影响,以表征它们在多种举重场景下的优势和局限性。
2. 方法
本研究分析的数据是使用先前描述的实验协议收集的(Salehi等人,2026年)。在早期的研究中,该数据集用于评估无标记MoCap系统在手动举重任务中的运动学准确性。在本研究中,相同的运动学数据以及人体测量数据和外部力测量数据被用于生物力学建模和脊柱负荷估计。
2.1. 参与者
通过电子邮件邀请和印刷传单从大学社区招募了21名健康成年人,包括11名男性和10名女性。女性参与者的平均(标准差)年龄、身高和体重分别为32.5(4.6)岁、164.4(6.7)厘米和67.2(11.6)公斤。男性参与者的相应数值分别为35.1(3.9)岁、177.6(6.0)厘米和79.2(11.7)公斤。参与者接受了以下筛查:1)过去七天内是否有任何肌肉骨骼疼痛或腰背部肌肉骨骼疾病的历史;2)是否正在使用任何肌肉骨骼疾病的药物。在主要实验之前,参与者练习了该任务,以熟悉实验程序和设备,直到他们确认能够完成所需任务,这也得到了研究人员的验证。平均练习时间约为10分钟。大学的机构审查委员会批准了研究方案(IRB#: 2023-779),所有参与者在实验前都提供了书面知情同意书。
2.2. 举重任务
参与者在重复测量实验室研究中完成了一系列手动举重任务。这些任务涉及在各种举重条件下举起一个塑料箱子(尺寸:35×27×18厘米),同时记录运动学数据和地面反作用力(GRFs)(图1)。实验使用了一个定制的架子,该架子有三个可调节的高度:小腿中部(低)、膝盖(中)和肩膀(高)。举重在三个垂直举高范围(低到中、低到高和中到高)、两个不对称角度(0°和向右30°)以及两个举重重量(5公斤和10公斤)下进行,共形成了12种不同的举重条件。参与者被指示以他们自然偏好的方式(蹲下或弯腰)和速度完成任务,同时保持箱子直立并且双脚接触地面(力板)。每种条件重复四次,每次重复之间休息1分钟。为了最小化潜在的顺序效应,使用R(v4.3.1)中的平衡拉丁方设计对试验顺序进行了随机化和平衡。举重周期定义为从参与者抓取并举起箱子到将其放在架子上的整个时间段。这个时间间隔是根据附着在箱子上的四个反射标记的轨迹确定的。
2.3. 数据收集和预处理
在举重任务期间,使用基于光学标记和无标记MoCap系统收集了全身运动学数据,同时使用两个力平台记录了地面反作用力(图1)。基于标记的MoCap数据以100 Hz的采样率使用8个摄像头的光学MoCap系统(Prime 13;Natural Point,Corvallis,OR)记录。总共在参与者身上附着了39个反射标记,遵循传统的全身标记集(Leardini等人,2007年,2011年;Kia等人,2025年)。另外在骨盆、胸部和脚部放置了12个标记,以解决举重任务中的潜在遮挡问题。无标记关节运动学数据使用开源无标记MoCap平台OpenCap(Uhlrich等人,2023年)收集。原始的OpenCap软件包进行了修改和调整,以适应职业举重任务,包括替换通用MSK模型、重新训练标记增强算法和更改逆运动学设置(Salehi等人,2026年)。这些修改的详细描述见Salehi等人(2026年)。对于无标记系统,在举重任务期间使用智能手机(iPhone 12和13;Apple Inc.,Cupertino,CA)以60 Hz的频率和720×1280像素的分辨率录制视频。摄像机安装在三脚架上,距离参与者站立点3米高。视频在两种摄像机配置下捕获:1)两个智能手机摄像机相对于参与者的前进方向呈±45°;2)三个智能手机摄像机,在第一种配置的基础上增加了一个前置摄像机。由于在我们的先前研究(Salehi等人,2026年)中摄像机配置不影响无标记系统的运动学准确性,因此将两种配置的数据合并进行分析。来自两种MoCap系统的原始运动学数据都使用四阶巴特沃斯滤波器以6 Hz的频率进行了低通滤波(Refai等人,2025年;Winter,2009年;Beaucage-Gauvreau等人,2019年)。由于无标记系统和基于标记的系统没有通过硬件连接同步,因此使用自定义Python脚本通过互相关分析临时对齐了无标记和基于标记的运动学数据(Horsak等人,2023年)。同时,两个力板(AMTI BMS464508-2K-SYS;Watertown,MA)与基于标记的MoCap系统系统同步,并以1000 Hz的采样率记录了GRFs。随后使用四阶零相位巴特沃斯滤波器对原始力板数据进行了低通滤波。
2.4. 使用OpenSim进行肌肉骨骼(MSK)建模
2.4.1. 通用MSK模型
脊柱负荷是使用之前为对称和不对称举重任务验证过的开源全身MSK模型计算的(Beaucage-Gauvreau等人,2019年)。该模型包含30个部分,总共29个自由度和238个Hill型肌肉肌腱执行器(图2)。躯干肌肉使用八个双侧对称的肌肉组进行建模,包括竖脊肌、腹直肌、外斜肌、内斜肌、多裂肌、腰方肌、腰大肌和背阔肌。下肢和上肢不包含任何肌肉,它们的关节由理想扭矩执行器激活。由于文献中关于其机械特性的信息有限,模型中没有包括被动组件(例如韧带);因此,该模型不适合评估躯干大幅屈曲的举重任务(Beaucage-Gauvreau等人,2019年)。为了提高与无标记运动学输入的兼容性,对原始模型进行了轻微修改。简而言之,手腕关节被限制了,因为与无标记系统一起使用的姿态估计算法(OpenPose身体模型)没有包括计算手腕运动学所需的手部关键点。此外,在逆动力学和关节负荷估计过程中去除了椎间关节之间的坐标耦合器约束,以提高模型灵敏度和解剖学准确性(Banks等人,2022年)。
2.4.2. 仿真工作流程
2.4.2.1. 基于标记的MSK建模(传统方法)
使用OpenSim 4.4(SimTK,Stanford,CA)进行了生物力学仿真。基于标记的数据的仿真工作流程遵循传统流程,包括:1)缩放通用模型,2)逆运动学(IK),3)逆动力学(ID),4)静态优化(SO),5)关节反应分析(JRA)(Seth等人,2018年)。简而言之,根据每个参与者的身体测量数据和在静态姿势(标准A姿势)期间收集的标记轨迹,对通用LFB模型进行缩放。然后,将标记轨迹应用于缩放后的模型,使用OpenSim IK工具估计任务周期内的关节角度,使用加权最小二乘方程最小化实验标记位置与模型上相应虚拟标记之间的差异(图2)。得到的关节角度以及外部力(GRFs和手部力)被用作OpenSim ID工具的输入,以计算重现记录运动所需的3D关节力矩。逆动力学通过求解运动方程来估计作用在每个关节上的广义力。(1)M(q)q¨+C(q,q˙)+G(q)=τ,其中q、q˙和q¨分别对应于系统的广义位置、速度和加速度向量。M(q)表示系统质量矩阵,C(q, q˙)捕获科里奥利力和离心力,G(q)表示重力,τ表示作用在系统上的广义力向量。虽然GRFs是由力板直接测量的,但外部手部力是通过向每只手施加等于举重重量一半的重力来建模的。随后,使用优化算法将计算出的净关节力矩分解为单独的肌肉力,该算法最小化所有肌肉肌腱执行器的激活平方和(Beaucage-Gauvreau等人,2019年;Cholewicki等人,1995年)。最后,使用关节反应分析工具计算合力,包括关节承受的内部负荷,如脊柱压缩力和剪切力(Uchida和Delp,2021年)。仿真通过自定义MATLAB脚本(版本R2022b)进行。
2.4.2.2. 无标记驱动的MSK建模
对于无标记数据,应用了相同的仿真工作流程,仅进行了少量调整。使用Spyder平台(Python v3.9)上的OpenCap软件包处理了一张静态站立姿势的图像,生成了特定于受试者的缩放肌肉骨骼模型。然后处理在举重任务期间录制的智能手机视频以计算关节运动学。从智能手机视频获取运动学数据的详细方法已在我们的先前研究(Salehi等人,2026年)中报告,并在此简要总结。简而言之,这个过程包括使用人体姿态估计(HPE)算法从每个视频中提取二维(2D)身体关键点位置,通过多个摄像机视图对这些2D关键点进行三角测量以计算3D位置,应用基于深度学习的标记增强模型来预测解剖标记的3D位置,并执行逆运动学来计算关节角度。所得到的无标记运动学数据随后被导入OpenSim中,使用逆动力学工具来估计关节力矩。采用自上而下的建模方法,仅需要外部手部力(而不是地面反作用力)来估计关节载荷(Sibson等人,2024年)。做出这种建模决策是为了便于在现实工作场所环境中进行现场分析,因为在这些环境中测量地面反作用力往往不切实际。随后,类似于基于标记的仿真工作流程,进行了静态优化和关节反作用力分析,以估计肌肉力量以及腰椎的压缩力和剪切力。
2.5 机器学习模型
开发了一个随机森林(RF)回归模型,用于根据选定的输入变量预测脊柱压缩力和剪切力(Breiman,2001年)。选择RF算法是因为其在处理涉及变量之间复杂非线性交互的回归任务时具有灵活性和强大的性能(Dey等人,2019年)。此外,RF在准确性和计算效率之间提供了良好的平衡,同时由于其基于集成的学习策略,天然具有抗过拟合的能力(Moghadam等人,2023年)。具体来说,RF构建了一个决策树集合(或森林),每个树都是使用自助法聚合(bagging)技术对数据集的一个自助样本进行训练的,并将最终预测值计算为所有单个树输出的平均值。关于RF算法的更详细描述,请参见Liaw和Wiener(2002年)。
该模型是在基于标记的数据集上训练的,包括真实的关节运动学数据以及使用第2.4.2节中解释的仿真工作流程估计的相应脊柱载荷。根据影响脊柱载荷的生物力学因素的先验知识以及以往研究的发现(Mohseni等人,2022年;Hughes,2017年;Arjmand等人,2013年;J. H. van Die?n和de Looze,1999年;J. H. van Die?n和Kingma,1999年),定义了三组输入变量。
- 模型1包括受试者的人体测量数据(身高和体重)、被提升物体的重量和3D位置(相对于髋关节中心的中点),以及躯干和膝盖的3D关节角度。
- 模型2通过加入躯干和膝盖的角度速度来扩展模型1,以捕捉提升任务的动态方面。
- 模型3也是模型1的扩展,将L5/S1的3D力矩作为模型的额外输入,因为它们是脊柱反作用力的强预测因子(J. H. van Die?n和Kingma,2005年)。
所有输入变量都被标准化为均值为零且标准差为单位值(Bishop,2006年)。在模型训练之前,数据被下采样到60 Hz,以匹配无标记MoCap的有效频率。此外,还添加了代表前五个帧的滞后特征到输入变量中,以考虑数据中的时间依赖性。
使用随机搜索策略结合交叉验证来进行超参数调整(Bergstra和Bengio,2012年)。为RF模型调整的超参数包括树的数量(100、200和500)和最大树深度(10、29和30)。网格搜索确定了一个具有500棵树和最大深度为30的模型,其预测误差最低。该模型是通过Python 3.9中的Scikit-learn包的RandomForestRegressor函数实现的。数据集包含919次试验,共计316,243个样本。为了防止受试者偏差,我们将数据分为学习(70%)和测试(30%)两个子集,确保每个参与者的所有数据仅分配到一个子集中。使用基于标记和无标记的关节运动学数据分别测试了ML模型的性能。图3比较了无标记驱动的MSK建模工作流程和上述三种ML模型。
下载:下载高分辨率图像(445KB)
下载:下载全尺寸图像
图3. 在OpenSim中,无标记驱动的MSK建模流程与三种机器学习(ML)模型用于从无标记MoCap估计L5/S1压缩力和剪切力的比较。OpenSim中的无标记驱动MSK建模包括逆运动学(IK)、逆动力学(ID)、静态优化(SO)和关节反作用力(JRF)分析。ML模型1和2使用IK输出(例如关节角度和角速度)作为输入,而ML模型3还使用ID输出(关节力矩),跳过后续步骤直接估计L5/S1的脊柱载荷。
2.6 数据分析
使用标准性能指标(包括均方根误差(RMSE)评估并比较了上述三种ML模型在估计脊柱载荷方面的准确性。RMSE值被归一化到体重,并进一步归一化到每次试验的值范围内(nRMSE),以消除受试者和试验之间的差异。此外,还计算了峰值脊柱载荷预测的百分比误差,作为预测值与参考峰值之间的相对差异(误差率)。
使用小提琴图(Mukaka,2012年)进一步比较了表现最佳的ML模型与无标记驱动的MSK建模(两者都由无标记运动学数据驱动)的性能。此外,使用统计参数映射(Pataky,2011年)来确定从两种方法获得的L5/S1压缩力和剪切力波形与参考值(使用OpenSim和基于标记的数据计算)在任务周期内的显著差异。为此,将每种方法的时间序列数据在所有参与者和每次试验中进行了平均。随后,对每组时间序列变量(来自参考系统和每种提出的方法)进行了配对SPM t检验,显著性差异的阈值为p < 0.05。
最后,使用线性混合模型(LMMs)来确定自变量对主要结果的影响,包括每种模型对压缩力和剪切力的预测误差(nRMSE)。固定效应包括提升高度(三个水平:低到中等、低到高、中等到高)、不对称角度(两个水平:0°和30°)和提升重量(两个水平:5公斤和10公斤)。受试者被作为随机效应纳入,以考虑受试者内的相关性。由于剪切力的nRMSE分布呈偏态,因此在分析前对其进行了对数转换。因为为两个结果测量分别拟合了LMMs,所以p值经过了Bonferroni校正。效应大小计算为部分eta平方(ηp2),其中0.01、0.06和0.14分别代表小、中等和大效应(Shida等人,2023年;Richardson,2011年)。所有数据分析都是使用R(版本4.3.1,R Core Team)和Python(版本3.9,Python Software Foundation)进行的。
3. 结果
3.1 三种ML模型的性能
表1总结了三种ML模型在使用基于标记和无标记输入数据估计L5/S1压缩力和AP剪切力方面的性能。在所有模型中,模型3产生的预测误差最低。对于压缩力,模型3在使用基于标记的输入时的平均nRMSE为3% [误差率= 2.8%],在使用无标记的输入时的平均nRMSE为10% [误差率= 5.8%],而模型1和2的误差较高,范围从8%到12% [误差率> 6.5%]。在所有情况下,剪切力的预测误差(平均nRMSE= 9–15%)都大于压缩力(平均nRMSE= 3–12%)。此外,在不对称提升过程中的误差通常比对称提升过程中的误差要高。
表1. 三种ML模型在对称和不对称提升条件下L5/S1压缩力和剪切力预测的平均RMSE(N/Kg)、nRMSE(%)和误差率(%)。为了便于比较,表格根据nRMSE进行了着色,从绿色(nRMSE较低)到红色(nRMSE较高)。
3.2 表现最佳的ML模型与无标记驱动的MSK建模的比较
图4比较了表现最佳的ML模型(模型3,见表1)与使用基于标记的仿真在OpenSim中计算的参考值的无标记驱动MSK建模流程的性能。小提琴图(图4的左列)显示了压缩力和AP剪切力的nRMSE(%)的分布。对于压缩力,ML模型产生的中位数误差(9%)低于OpenSim中的无标记驱动MSK建模(12%),且分布范围相当(四分位数范围= 4.5%对比6.3%)。然而,对于AP剪切力,MSK建模方法的中位数误差(26.7%)几乎是ML模型(13.7%)的两倍,且总体误差范围明显更大。散点图(图4的右列)显示了预测脊柱载荷与参考载荷之间的线性相关性。两种方法(无标记驱动的MSK建模和基于ML的)都与参考脊柱载荷实现了非常强的相关性(r > 0.9),基于ML的预测的相关系数略高。
下载:下载高分辨率图像(472KB)
下载:下载全尺寸图像
图4. 左图:ML模型(黄色)和无标记驱动的MSK建模(紫色)使用无标记输入数据预测的脊柱压缩力和AP剪切力的nRMSE(%)分布。右图:每种方法预测的值与参考脊柱载荷之间的相关性。(关于此图例中颜色的解释,请参阅本文的网页版本。)
图5和图6显示了在提升任务周期内,每种提升高度(低到中等、中等到高和低到高)和不对称角度(对称和30°不对称)下预测的L5/S1压缩力和AP剪切力。对于压缩力,ML模型和无标记驱动的MSK建模在整个任务过程中大致遵循了参考值的总趋势。SPM分析结果显示,在大约不到20%的任务周期内,差异具有统计学意义(p < 0.05)。对于AP剪切力,尤其是无标记驱动的MSK建模,其偏差较大,始终高估了剪切力。尽管使用无标记驱动的MSK建模流程预测的剪切力在整个任务过程中遵循了参考值的总趋势,但SPM测试显示,在任务周期的相当部分时间内,力的大小与参考值有显著差异。ML模型更紧密地遵循了剪切力的参考模式,尽管在整个任务周期内仍有统计学上的显著差异(图6)。在提升周期的早期和后期阶段,当参与者开始提升或将箱子放置在架子上时,误差倾向于更大。
下载:下载高分辨率图像(739KB)
下载:下载全尺寸图像
图5. 无标记驱动的MSK建模(紫色)和机器学习模型(黄色)预测的提升任务期间的腰椎压缩力(N),与使用OpenSim和基于标记的输入获得的参考值(虚线黑色)进行比较。时间序列数据代表每种提升条件的组平均值±标准差。每个子图下方的彩色条形表示根据SPM分析检测到预测值与参考值之间存在显著差异的时间间隔(p < 0.05)。(关于此图例中颜色的解释,请参阅本文的网页版本。)
下载:下载高分辨率图像(773KB)
下载:下载全尺寸图像
图6. 无标记驱动的MSK建模(紫色)和机器学习模型(黄色)预测的提升任务期间的腰椎剪切力(N),与使用OpenSim和基于标记的输入获得的参考值(虚线黑色)进行比较。时间序列数据代表每种提升条件的组平均值±标准差。每个子图下方的彩色条形表示根据SPM分析检测到预测值与参考值之间存在显著差异的时间间隔(p < 0.05)。(关于此图例中颜色的解释,请参阅本文的网页版本。)
3.3 影响准确性的因素
表2显示了提升重量、不对称角度、提升高度(垂直提升范围)及其交互作用对无标记驱动的MSK建模和基于ML的方法的预测误差(nRMSE)的影响。提升高度显著影响了两种方法对压缩力和剪切力的预测误差(p < 0.05)。同样,对称角度的效应在大多数情况下也具有统计学意义(ML模型的压缩力除外)。这些效应在无标记驱动的MSK建模中通常更大,效应大小为中等到大(部分η2 = 0.043–0.529),而ML模型的效应大小为小到中等(部分η2 = 0.023–0.152)。相比之下,提升重量和所有交互项对脊柱载荷预测误差没有显著影响(p > 0.278)。III型方差分析(ANOVA)的结果用于线性混合模型中的固定效应,该模型研究了提升重量、提升角度、提升高度及其交互作用对每个模型平均nRMSE(%)的影响。相应的效应大小以部分η2表示。P值经过Bonferroni校正,统计上显著的效应以粗体显示。
**因素** | **空单元** | **无标记驱动的MSK建模** | **ML模型** | **压缩力** | **剪切力** | **压缩力** | **剪切力** | **P值(部分η2)**
| --- | --- | --- | --- | --- | --- | --- | --- |
| 提升重量(A) | 0.278 (0.010) | 0.522 (0.006) | 1.886 (0.001) | 0.954 (0.003) | <0.05 (0.043) | <0.05 (0.048) | 0.072 (0.023) | <0.05 (0.024) |
| 提升高度(C) | <0.001 (0.111) | <0.001 (0.529) | <0.001 (0.152) | <0.001 (0.085) | A ? B | 0.818 (0.003) | 1.640 (0.001) | 1.076 (0.002) | 0.388 (0.009) |
| A ? C | 1.118 (0.005) | 1.624 (0.005) | 1.664 (0.002) | 1.758 (0.001) | B ? C | 1.798 (0.001) | 0.440 (0.014) | 1.392 (0.004) | 1.140 (0.006) |
**4. 讨论**
本研究的主要目的是评估从智能手机视频中提取的无标记关节运动学数据估算手动提升过程中动态脊柱负荷的可行性,这有可能实现无需大量仪器的实验室外评估。使用基于智能手机视频的运动学数据,通过两种方法估算L5/S1的压缩力和剪切力:(1)在OpenSim中实现的完整无标记驱动的MSK建模工作流程;(2)使用基于标记的OpenSim模拟作为训练数据开发的三个机器学习模型,直接估算L5/S1的反作用力,每个模型逐渐结合了更多来自MSK建模工作流程的信息。在三个机器学习模型中,模型3结合了躯干和膝关节的运动学数据以及来自逆动力学的L5/S1力矩,取得了最佳的整体性能,并优于仅依赖运动学输入的其他模型。此外,无标记驱动的MSK建模和基于机器学习的方法都能从无标记运动学数据中合理准确地估算压缩力;然而,剪切力的估算误差较大。
**4.1. 机器学习模型比较**
在三个机器学习模型中,模型3结合了L5/S1的3D力矩,在预测压缩力和剪切力方面取得了最高的准确性。先前的研究表明,躯干肌肉力量和由此产生的脊柱负荷与作用在脊柱上的力矩成近似线性比例增加(J. H. van Die?n和Kingma, 2005)。因此,腰椎力矩可以是脊柱负荷的强有力生物力学指标。这可能解释了为什么模型3在预测脊柱负荷方面优于其他两个模型。值得注意的是,模型1和2仅依赖于逆运动学的输出(例如关节角度),因此避免了MSK建模的其余步骤(即逆动力学、静态优化和关节反作用力分析)。相比之下,模型3需要一个额外的中间步骤:逆动力学来计算3D L5/S1力矩。这些力矩与躯干和膝关节的运动学数据、人体测量学数据以及负荷特性一起提供给模型,以直接估算L5/S1的压缩力和剪切力。尽管有这个额外的步骤,这种方法仍然比完整的MSK建模流程简单得多且更快,因为它避免了单独估算肌肉力量的过程,后者涉及迭代优化,即使对于短期试验也可能需要数小时的计算时间(Ma等人,2024;Trinler等人,2019;MacIntosh,2014)。通过结合更多来自基于物理的模拟的生物力学输入(L5/S1力矩和躯干及膝关节的运动学数据),同时消除了耗时的迭代优化需求,模型3可能在生物力学准确性和实用性之间提供了有利的平衡。因此,它可能为手动提升任务中的快速、可扩展的脊柱负荷预测提供了一种有前景的方法。
在比较模型1和2时,模型2除了模型1中的原始运动学输入外,还纳入了躯干和膝关节的角速度,以考虑手动提升活动的动态特性。尽管这些速度特征预计会提高模型预测动态脊柱负荷的性能,但准确性改进相对较小(压缩力的nRMSE仅减少了0.5%,剪切力的nRMSE减少了1.4%)。一个可能的解释是模型1已经包含了前五帧的滞后运动学输入,这可能已经充分捕捉了运动数据中的短期时间依赖性。需要注意的是,随机森林模型并没有显式地对输入特征中的时间依赖性进行建模。相比之下,基于序列的模型(如长短期记忆(LNN)网络和卷积神经网络(CNN)专门设计用于捕捉有序的时间依赖模式,因此可能在建模时间序列生物力学数据方面具有优势(Mundt等人,2020;Gurchiek等人,2019)。尽管如此,当前研究中选择了随机森林模型进行脊柱负荷预测,因为它通常计算效率更高,对小数据集的过拟合更不敏感,并且通常对输入数据中的噪声和变异性更具有鲁棒性,这些是在无标记关节运动学中常见的挑战(Moghadam等人,2023;Breiman,2001)。鉴于基于序列的模型在提高预测准确性方面的潜力,未来的研究应系统地比较不同的建模方法,以确定增加的复杂性和计算成本是否会导致脊柱负荷预测的有意义改进。
结果还显示,当使用基于标记的运动学数据作为输入时,机器学习模型比使用基于智能手机视频的运动学数据获得了更高的准确性。例如,表现最佳的模型(模型3)使用无标记运动学数据得到的腰椎压缩力平均nRMSE为9.9%,几乎是使用基于标记的输入所得误差(nRMSE = 3%)的三倍。在我们之前的验证研究(Salehi等人,2026)中,无标记系统在提升任务中显示的躯干屈曲平均RMSE约为6°,膝关节屈曲约为7°,相对于基于标记的系统。这些关节角度误差可能导致了使用无标记运动学数据作为模型输入时观察到的较高脊柱负荷预测误差。这些发现表明,数据驱动模型的性能在很大程度上取决于输入数据的质量,强调了提高无标记系统运动学准确性的必要性,特别是当使用所得关节运动学数据来估算内部生物力学负荷时。尽管机器学习模型使用无标记输入仍然能够产生相当准确的脊柱负荷估计(大多数情况下nRMSE约为10%),但预计计算机视觉算法和无标记MoCap技术的持续进步将减少运动学误差,并进一步提高未来研究中脊柱压缩力和剪切力预测的准确性。
**4.2. 无标记驱动的MSK建模工作流程与表现最佳的机器学习模型**
表现最佳的机器学习模型(模型3)和无标记驱动的MSK建模工作流程在预测L5/S1压缩力方面的准确性相当。统计参数映射表明,两种方法的压缩力波形与使用基于标记的运动学数据在OpenSim模拟中得到的参考值非常接近,只有任务周期中的小范围区域显示出统计学上的显著差异。尽管这些差异的大小在任务周期和提升条件中有所不同,但ML模型的峰值差异为167 N,无标记驱动的MSK建模工作流程的峰值差异为223 N。这些误差相对较小,分别约为NIOSH推荐的3400 N压缩限值的5%和6.5%,表明这两种方法可能都为相对于这一生物力学参考阈值的提升任务的人体工程学风险评估提供了一种实用的方法。然而,当预测负荷接近阈值时需要谨慎,因为即使是相对较小的偏差也可能影响伤害风险分类和随后的人体工程学措施。
然而,剪切力估算的误差较大,特别是在无标记驱动的MSK建模工作流程中。如小提琴图(图6)所示,75百分位的剪切力估算误差(nRMSE)超过了40%,表明大约四分之一的试验中估算误差超过了40%。时间序列分析进一步显示,无标记驱动的MSK建模工作流程系统性地高估了剪切力,相对于使用基于标记的运动学数据在OpenSim中估算的参考值,峰值绝对误差为207 N。这些较大的误差可能是由于基于优化的生物力学建模对运动学输入质量的敏感性。因为估算的肌肉激活和由此产生的关节反作用力对段的方向、位置和加速度非常敏感,即使是无标记运动学中的小误差也可能通过动态链传播并显著影响计算出的内部力。另一方面,机器学习模型提供了相对更准确的剪切力估算,可能是因为数据驱动的方法学习了选定输入和力结果之间的潜在关系,而不是依赖于精确的全身运动学(Chan等人,2022),使它们对偶尔的运动学误差更具鲁棒性。然而,数据驱动方法的缺点是它们的准确性在很大程度上取决于训练数据集的多样性和代表性(Mundt,2023)。因此,对于与训练数据集中包含的提升任务显著不同的提升任务,机器学习模型的准确性可能会有所不同。因此,未来的研究应在更广泛的提升条件和更多样化的人群中评估模型性能。
**4.3. 提升参数对模型准确性的影响**
线性混合效应模型显示,提升高度和不对称角度显著影响了机器学习模型和无标记驱动的MSK建模的预测准确性。具体来说,在较低的提升高度和不对称条件下,误差趋于增加,这些条件下需要更大的躯干屈曲和旋转。这些较大的误差可能归因于这些条件下更大的运动范围(更屈曲或旋转的躯干),这可能由于自我遮挡和地标可见性降低而降低了收集到的关节运动学数据的质量。这些效应在无标记驱动的MSK建模中更为明显(效应大小=0.043–0.529),而在机器学习模型中则不那么明显(效应大小=0.023–0.152),表明机器学习方法可能对无标记系统的运动学误差和姿势偏差不太敏感。令人惊讶的是,提升重量并没有显著影响任一模型的预测误差。先前的研究已经报告称,负荷质量对提升任务中的脊柱负荷有显著影响(Nail-Ulloa等人,2024;Skals等人,2021)。例如,Nail-Ulloa等人(2024)使用基于IMU的MoCap系统收集的运动学数据来估算脊柱负荷,并发现随着负荷水平的增加,压缩力和剪切力的RMSE都会增加。这种差异的一个可能解释是,当前研究中评估的负荷水平(5公斤和10公斤)相对于躯干和上半身的质量来说较小,因此对整体脊柱负荷的影响有限。未来的研究应在更重的负荷(例如20–25公斤)下评估模型的准确性,以更好地理解每个模型对外部负荷大小的敏感性。
**4.4. 限制**
本研究存在一些限制。首先,由于体内技术的侵入性和方法学挑战,本研究无法获得真实的脊柱反作用力数据。因此,提出的无标记驱动方法在估算脊柱负荷方面的准确性是相对于使用OpenSim中基于标记的运动学数据通过传统优化基MSK建模工作流程计算出的参考值进行评估的。基于优化的模型有几个限制,包括对个体间和个体内变异性的有限表示以及对拮抗肌肉共激活的不准确估算(El Ouaaid等人,2013;Gagnon等人,2001;Knapik等人,2022;Liu等人,2018)。此外,本研究中使用的通用MSK模型不包括被动结构,不适用于涉及深度蹲下(例如躯干屈曲>65°或髋关节和膝关节屈曲>135°)的提升技术(Beaucage-Gauvreau等人,2019)。最后,外部手部力的建模简化也可能影响了估算的脊柱负荷的准确性。尽管基于EMG的模型或直接测量外部手部力可以解决其中一些限制,但这些建模决策是为了支持在表面EMG和外部手部力测量通常不可用的职业环境中的可行性。鉴于这些限制,本研究使用MSK建模估算的脊柱反作用力,无论是基于标记的还是无标记的运动学数据,都不应被视为绝对的脊柱负荷值,也不应用于临床决策。相反,这些估算应被视为实用的近似值,旨在支持使用简单且低成本的测量设置在现场进行动态腰部生物力学负荷评估。在MSK建模中,用户应决定从MSK模拟中得出的生物力学指标的实用性是否超过了建模不确定性和误差的潜在影响(Myers等人,2015)。对于实际的人体工程学应用,需要在实用性和生物力学准确性之间取得平衡,以支持跨任务和工人的可扩展和高效筛查。本研究中评估的无标记驱动方法可能有助于识别现场潜在的高风险提升条件。在这种情况下,可以根据需要将案例转交给实验室进行更详细和准确的评估,以便更好地描述和降低风险。这项研究的另一个局限性是,所有举重任务都是在受控的实验室条件下进行的,这可能无法完全模拟现场环境的挑战。诸如光线不足、背景杂乱、衣物松散或反光以及人物体遮挡等因素可能会降低无标记系统收集的运动学数据的准确性,从而影响预测的脊柱负荷。未来的研究应在实验室中复制这些现实世界条件,以评估这些环境因素对模型鲁棒性和性能的影响。此外,尽管我们的数据集包含了近900个不同高度、角度和举重量的举重序列,但在实际工作场所进行的职业举重任务在运动模式和负荷大小上可能会有很大差异。如上所述,机器学习模型对其训练数据集中未包含的举重场景的泛化能力需要进一步评估。未来的研究可以扩展训练数据集,包括更广泛的举重条件和不同复杂度的任务,以提高模型的鲁棒性和泛化能力。此外,纳入更多样化的人群将有助于进一步评估可能影响脊柱负荷估计准确性的与受试者相关的因素,例如性别和体重指数。
5. 结论
本研究展示了使用从智能手机视频中提取的无标记关节运动学数据来估计手动举重时动态脊柱负荷(即L5/S1压缩力和AP剪切力)的可行性。结果表明,当无标记运动学数据首先被整合到传统的肌肉骨骼(MSK)建模工作流程中以计算3D L5/S1力矩时,与参考脊柱负荷值的一致性最高。然后,这些数据连同躯干和膝关节的运动学数据、受试者人体测量学信息和负荷特征一起被用作机器学习模型的输入,以预测L5/S1压缩力和剪切力。尽管这种方法需要几个传统的MSK建模步骤(例如模型缩放、逆运动学和逆动力学),但它比基于完全优化的MSK建模工作流程要简单和快捷得多。与直接从运动学输入估计脊柱负荷的机器学习模型或纯物理基础的MSK建模工作流程相比,这种混合框架在生物力学准确性和计算效率之间提供了良好的平衡。结合使用智能手机收集的无标记运动学数据,这种方法可以为职业环境中快速、低成本且相对准确的脊柱负荷估计提供一个有前景的解决方案。然而,这项研究只是从智能手机视频中估计脊柱负荷的初步尝试,还需要进一步的工作来改进无标记系统和机器学习模型,特别是在剪切力估计方面。此外,未来的研究应扩展训练数据集,包括更广泛的举重任务和条件,并在更真实的职业环境中评估所提出框架的性能。
作者贡献声明:
Mina Salehi:概念化、数据整理、形式分析、资金获取、方法论、撰写——原始草稿。
Ali Taheri:形式分析、方法论、软件。
Jeong Ho Kim:概念化、资金获取、方法论、资源管理、监督、验证、撰写——原始草稿。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号