《Journal of Biomechanics》：Inertial human motion capture: From biomechanics to recent sensor fusion methods and back
惯性测量单元（IMU）是捕捉人体运动的一种有前景的手段，然而从IMU测量中获取有意义的生物力学量仍然具有挑战性。本教程式综述聚焦于运动学，并引入四个关键方面（惯性人体运动捕捉目标、环境条件、受试者及属性、运动特征），以确定如何将生物力学问题转化为惯性传感器测量融合的适当公式。研究人员识别出从IMU进行运动学估计的三个基本挑战：IMU不提供关于关节角的直接信息，IMU不测量自身方向，以及现实环境和动力学损害传感器可靠性。尽管存在广泛使用的方法来克服这些挑战，但它们在现实应用中遭受严重限制，例如需要传感器到节段的校准，以及磁场扰动会降低关节角精度这一事实。因此，许多用例的全部潜力在精度和可靠性方面仍未得到开发。研究人员分享了对近期提出方法的见解，例如利用人体运动链约束的方法，这些方法有潜力克服上述限制。研究人员还提出了与四个关键方面相关的指导性问题，并展示了它们在为下肢关节角估计用例导航方法论格局中的用途，为此研究人员分享了开放获取代码，并将传统工作流程与三种替代方案进行了比较。研究人员的目的是弥合开发人体运动捕捉方法的传感器融合社区与需要在实验室外研究人体运动的准确、易用且可靠方法的生物力学社区之间的鸿沟。
一、引言
测量人体运动在娱乐、体育、工效学和医疗保健领域具有重要应用。特别是在医疗保健领域，人体运动捕捉有潜力改善运动障碍患者的生活质量。这些运动障碍还会引发继发效应，包括跌倒、肥胖和心血管疾病，推动全球医疗成本上升。尽管可以使用传统光学运动捕捉系统评估人体运动，但这些系统具有固有缺陷。首先，已知个体在实验室环境中的表现与其自然环境中不同。此外，这些系统需要训练有素的技术人员和大量的基础设施与设备投资。这些缺陷限制了运动捕捉在医疗保健中的广泛临床应用。惯性测量单元作为小型、便携且廉价的传感器，提供了一种引人注目的替代方案，能够在受控实验室环境之外实现运动学测量，降低成本和减少对专门基础设施与专业知识的依赖。IMU系统的可及性可以使生物力学分析在多样化的医疗保健和人体运动表现环境中普及化。
生物力学分析需要以关节角（即描述身体节段之间相对运动方式的相邻节段之间的角度）来准确量化人体运动。从IMU测量中获取关节角是本文的重点，研究人员：（1）提出了一篇教程式综述，旨在弥合开发人体运动捕捉方法的传感器融合社区与生物力学社区之间的鸿沟；（2）识别了从惯性传感器推导关节角的三个基本挑战，并批判性讨论了广泛使用方法的固有局限；（3）分享了对近期最先进进展的见解，展示现代工具如何克服传统局限性；（4）提出了与具体应用无关的关键研究设计问题，以指导生物力学社区如何以及何时使用哪种方法从IMU测量中获取关节角；（5）在具有代表性的真实人体运动数据集上示例了整个工作流程，提供完全开放获取的代码和数据以最大化可复现性。研究人员希望这项工作能使生物力学研究者利用当前可用的基于IMU的方法的广泛选择，实现足以用于纵向临床部署的精度和可靠性，并希望它能激励传感器融合社区解决剩余的开放挑战。
二、从IMU测量到人体运动捕捉用例
从IMU测量获取关节角需要融合可用的传感器测量，这也称为传感器融合。所获取关节角的精度和可靠性取决于多个相互作用因素。通过研究传感器融合公式可以获得对这些因素的更多见解。这些公式通常与应用无关，因此适用于各种生物力学用例、身体节段以及多样的肌肉骨骼和神经疾病。它们受例如运动假设和关节约束等因素支配，并关键依赖于：（1）特定惯性人体运动捕捉目标；（2）运动发生的环境；（3）受试者及其属性；（4）运动特征。
贯穿全文，研究人员以下列用例说明如何从IMU测量中获取关节角：临床干预后步态模式异常的早期识别。一个重要功能指标可以是下肢的运动学变化，理想情况下应在干预后几天内记录。
惯性运动捕捉任务的几个方面是该用例的基础。第一个方面是就感兴趣量（例如哪些关节角）及其预期用例所需精度，对惯性人体运动捕捉目标进行批判性反思。第二，早期识别的需求突显了环境的影响，因为这通常意味着需要在室内临床环境中进行，而室内临床环境是充满干扰的环境，设备和人员不断移动。第三，损伤和干预常常改变受试者的结构和生物力学运动。这种变化应被考虑，因为它可能违反传感器融合公式所做的假设，并可能限制传感器数量及其在受试者上的放置位置。
基于这些见解，图1提供了塑造惯性人体运动捕捉方法以满足需要关节角信息的生物力学问题的整体视角。这一视角旨在支持生物力学研究者驾驭惯性人体运动捕捉的相关挑战和局限，并使他们能够批判性评估后续章节中概述的最新算法进展。
三、从IMU到关节角：挑战与局限
从IMU获取关节角存在三个固有挑战。克服这些挑战最常用的工作流程中，IMU测量被用于估计传感器方向。传感器到节段分配用于确定哪个传感器放置在哪个身体节段上。此外，传感器到节段校准用于确定传感器的放置及其与身体节段和相应关节轴的对齐。这种常用工作流程在获取关节角的精度和易用性方面具有固有局限。
（一）传感器方向与人体关节角：校准与分配
人体运动捕捉可以抽象为估计运动链中通过关节连接的相邻节段的相对角度问题。虽然IMU传感器方向为人体运动捕捉提供了重要信息，但它们特别地不直接捕获人体关节角，这引出了惯性人体运动捕捉的第一个挑战：IMU不提供关于关节角的直接信息，而是提供关于传感器运动的信息，不直接涉及身体运动或解剖坐标系。
可以从IMU方向确定关节角，前提是传感器在身体节段上的安装已知或先前已确定。确定这种安装的常用工作流程包括两个步骤。第一，传感器到节段分配指定哪个传感器连接到哪个身体节段，这通常手动完成。第二，传感器到节段校准确定传感器的放置及其与身体节段/关节轴的对齐。这种校准通常通过手动对齐、静态姿势校准、功能校准、解剖标志校准或其组合来完成。每种校准方法都隐含地包含关于身体节段及其围绕关节的相对运动的信息，从而允许将传感器方向映射到节段方向，随后映射到关节角。
（二）IMU测量与传感器方向：方向估计
虽然许多IMU输出传感器方向，但它们不直接测量自身方向。相反，它们由三轴加速度计、三轴陀螺仪和通常的三轴磁力计组成。对于每个IMU，这些测量可以组合起来估计传感器的绝对方向。陀螺仪测量的角速度可以随时间累加，提供关于方向变化的信息。加速度计测量的比力由传感器坐标系中测量的重力向量和传感器的线性加速度组成。因此，当线性加速度与重力大小相比较小时，加速度计可用于提供关于传感器倾斜的信息。磁力计测量的局部磁场由局部地球磁场和任何磁场异常组成。因此，当磁场异常与局部地球磁场大小相比较小时，磁力计提供关于传感器轴与局部地球磁场向量之间夹角的信息。
这些传感器因此仅在组合时提供完整的3D绝对方向信息，其中一些信息是冗余的。任何方向估计方法都需要编码关于每个传感器测量可靠性的知识。这种可靠性无法先验量化，因为它取决于环境和传感器动力学。这引出了第三个挑战：现实环境和动力学损害传感器可靠性。具体而言，磁力计测量在实践中常常由于现实环境中磁场异常的存在而提供不可靠的航向信息。此外，加速度计的倾斜信息在现实动力学条件下（即存在线性加速度时）会退化。方向估计退化的程度取决于传感器融合方法中使用的设置和模型。
传感器的非零线性加速度对于动态任务是特别关注的问题。然而在实践中，这个问题通常不如磁场异常严重。这是因为重力加速度通常与人体加速度相比较大大，即使在动态任务中也通常有特定的时间实例具有较小加速度，可用于倾斜信息。另一方面，磁场异常通常存在于所有室内环境中，因为它们由传感器附近的铁磁材料引起。这些磁场异常随空间变化，并且通常越靠近地面越严重。
常用的方向估计方法使用单个恒定参数来建模传感器测量的可靠性。这个参数在几乎所有时间实例上必然不是“最优”参数。因此，获得准确、无漂移的传感器方向仍然是一个挑战。此外，商用IMU中使用的专有方向估计算法通常缺乏关于确切参数和模型选择的透明度，这对验证和可复现性也构成限制。
（三）从IMU获取关节角的常用工作流程的局限性
局限性1：校准误差直接影响关节角估计的质量。此外，校准意味着系统额外的设置时间。
局限性2：传感器在身体上的位置被假设随时间恒定，而实际上由于软组织伪影并非如此。此外，传感器到节段分配被假设为已知，这可能增加设置时间。
局限性3：传感器测量在实践中永远不能满足绝对方向估计方法所需的基本假设。换句话说，传感器偏置在实践中不是零也不是恒定的，磁场异常存在，并且在任何相关场景中，传感器的线性加速度非零，这导致估计方向的误差。
四、克服常用惯性运动捕捉工作流程的局限性
近年来，传感器融合领域出现了许多发展，以克服常用惯性人体运动捕捉工作流程的三个局限性。研究人员将这些近期方法分为四类。第一类方法专注于改进单传感器（绝对）方向估计，同时保持工作流程其余部分不变。其他三类分别专注于无磁力计相对方向估计、自动传感器到节段校准，以及使用自动校准的组合无磁力计惯性人体运动捕捉。
（一）改进单传感器方向估计
近年来，已经开发了几种方法，专注于最小化现实环境和动力学对方向估计的负面影响。这些方法要么调整常用绝对方向估计方法中的模型假设，以确保传感器测量不太可能违反其假设，要么使用机器学习。调整模型假设的方向估计方法主要集中在调整模型，以减轻磁场扰动对方向估计的负面影响。具体而言，由于磁力计提供关于传感器轴与局部地球磁场之间夹角的信息，它不仅能提供传感器航向信息，还能提供倾斜信息（赤道除外）。由于加速度计通常提供更可靠的倾斜信息，这些工作侧重于更有效地允许磁力计仅影响航向信息。
（二）无磁力计相对方向估计
虽然上述方法在克服局限性3方面迈出了重要步骤，但磁场异常在室内环境中非常普遍，因此也有大量近期文献专注于无磁力计惯性人体运动捕捉。当已知运动链信息并将其纳入传感器融合问题时，可以无需使用磁力计即可估计相对方向。具体而言，假设研究人员感兴趣的是使用每个节段上的IMU估计多个连接身体节段之间的关节角。利用身体节段被连接的知识，可以仅使用加速度计和陀螺仪测量来估计这些传感器之间的相对方向。估计传感器之间相对方向所需的节段运动条件非常温和，最显著的条件是身体节段不应完全静止。
这些无磁力计相对方向估计方法需要与常用工作流程略有不同的处理和实践考虑。首先，不再可能单独处理每个传感器的测量，因为估计相对方向需要联合处理多个传感器的测量。此外，虽然非零线性加速度会降低绝对方向估计方法的性能，但无磁力计相对估计方法实际上需要运动才能获得准确的相对方向。对于考虑1D或2D关节的方法，额外要求是关节轴不能长时间（接近）垂直。
（三）自动传感器到节段校准
近年来，已经开发了自动校准方法来确定传感器在节段上的放置。这些自动传感器到节段校准方法取代了常用工作流程中的手动对齐方法。它们也不依赖用户执行特定动作。相反，这些方法基于正常人体运动自动确定传感器到节段校准，允许即插即用。因此，它们克服了局限性1，减少了系统的设置时间，并避免了手动对齐过程中引入的误差。与前述方法类似，这些自动校准方法利用身体节段连接性的信息以及可能关于关节有限自由度的信息。
（四）使用自动校准的无磁力计惯性人体运动捕捉
自动传感器到节段校准技术及其与无磁力计方法使用相似模型的事实，为组合这些方法开辟了可能性，在单一算法中同时克服局限性1和局限性3。使用自动校准的无磁力计惯性人体运动捕捉在关节被假设为1D或2D的情况下特别成熟。在这种情况下，自动校准确定传感器坐标系中关节轴的方向，并直接辅助关节角的计算。对于一般3D关节，最近提出了使用自动校准的无磁力计人体运动捕捉。在3D关节模型中，关节轴本质上不是唯一定义的。因此，为获取关节角，仍然需要关节角投影，并且可能仍然需要额外校准。完全即插即用的3D关节方法尚不可用。
五、从指导性问题到方法选择
研究人员提出了一组原则性问题，以指导在特定生物力学应用中提取关节角的估计方法选择。这些指导性问题与四个关键方面直接相关。研究人员以临床干预后步态模式异常早期识别的用例演示了这些问题如何指导估计方法的选择。研究人员比较了四种处理策略，从常用工作流程到最新的无磁力计传感器融合方法。每种策略将各个构建模块组装成完整的处理流程，并为这些流程提供了开源代码。
指导性问题将该场景特征描述如下。估计目标是获得根据ISB约定定义的膝关节和踝关节角，即相对于解剖定义轴的角度。离线处理是可接受的。环境是室内医院房间，由于建筑中的钢筋混凝土和附近的医疗设备，磁场不均匀，但不存在主要磁扰动。预期运动是连续平地行走，具有重复的步态周期，为无磁力计相对方向估计方法提供足够的激励。对于受试者及属性，传感器到节段校准步骤是可能的，传感器被手动分配和对齐。运动学模型假设膝关节为1D铰链关节（主要屈曲/伸展），踝关节为2D关节（背屈/跖屈和内翻/外翻）。
研究人员在健康参与者上评估四种方法，以隔离方法差异与患者特定混杂因素。使用来自OpenSense数据集的四名受试者进行10分钟行走试验的数据。每个受试者佩戴八个Xsens MTw Awinda IMU，以100Hz采样，评估右下肢。地面真值关节角通过光学运动捕捉和OpenSim逆向运动学获得。比较聚焦于膝关节屈曲/伸展和踝关节背屈/跖屈。精度以每受试者的均方根误差量化，并在四名受试者上取平均。
第一种方法（Madgwick+IK）遵循常用工作流程，不是无磁力计的。它使用广泛使用的Madgwick方法估计传感器方向，并通过运动学模型和逆向运动学计算关节角。由于Madgwick滤波器不能完全将磁校正与倾斜估计解耦，磁场扰动同时破坏航向和倾斜，表现为估计关节角中的抖动。
第二种方法（VQF+IK）用VQF替换Madgwick滤波器，保持流程其余部分不变。误差降低，因为VQF更有效地将倾斜估计与基于磁力计的航向校正解耦，减少了磁扰动对倾斜估计的影响。该方法仍使用磁力计进行航向，而其余两种方法是无磁力计的。
第三种方法（VQF+Olsson）消除了磁力计和手动传感器到节段校准，同时克服局限性1和3。它使用不带磁力计的VQF估计每个传感器的绝对方向，然后计算相邻节段之间的相对方向。然后使用Olsson方法从相同测量中识别功能关节轴，假设1D铰链关节。相对方向投影到此轴上以获得单个功能关节角，绕过逆向运动学。对于膝关节，数据驱动的功能轴与解剖轴对齐良好，但由于残余航向漂移，误差高于基于磁力计的流程。对于踝关节，次要运动（如内翻和外翻）使功能轴识别产生偏差，防止与解剖背屈/跖屈轴对齐。产生的功能角混合了来自多个解剖方向的贡献，产生不可用的误差。
第四种方法（Weygers）在保持无磁力计估计的同时容纳踝关节的多个自由度，需要更一般的关节模型，以重新引入校准为代价。该方法有三个阶段。第一，传感器到节段校准：传感器在节段上的位置自动校准，而关节轴识别手动执行。第二，无磁力计方法估计相邻节段之间的相对方向，假设3D关节。第三，相对方向投影到识别的解剖轴上以获得ISB角。所得误差与VQF+IK相似，但在没有磁力计的情况下实现。
比较显示指导性问题的答案如何指导流程选择。VQF+IK和Weygers之间的接近平局由环境决定：这里的轻度扰动使磁力计可用，因此VQF+IK略微胜出。在更强、持续的异常下，受污染的磁力计航向会传播到关节角中，因此精度相当的Weygers无磁力计方法在手动关节轴校准可接受的情况下变得更可取。哪种流程表现最佳因此取决于环境和关节类型，一种设置下获得的排名不会转移到另一种设置。
六、展望
如前述章节所示，所讨论的方法对生物力学应用具有很大前景，因为它们克服了当前实践的局限性1和3。然而，重要的是进一步共同开发它们，生物力学研究者提供方法在现实应用中使用的输入，传感器融合研究者探索方法学进展以克服潜在缺陷。例如，研究人员预计在高度扰动磁环境中的有限运动用例中需要新方法，因为有限运动降低了无磁力计方法的精度。对于计算预算低的用例、高冲击（导致加速度计测量中的尖峰）或存在大软组织伪影的情况，也可能需要方法学发展。此外，获得估计关节角的准确不确定性量化是一个相对未探索的研究问题。增加方法的易用性是未来工作的另一个可能方向。一个例子是包括自动传感器到节段分配。
在一个理想的未来，将开发出在所有生物力学应用中精确可靠的即插即用传感器融合方法。与此同时，研究人员希望这项工作有助于导航现有的可用方法并理解其缺陷和局限性。值得注意的是，当关节角估计不准确时，确定根本原因必须质疑所用方法的所有假设，从IMU信号开始。研究人员还预见远超当前可用方法的方法学发展。一个有趣的方向是稀疏传感器设置，其中仅使用少量传感器来估计整个人体的运动。此外，有大量且不断增长的工作使用机器学习方法，仅使用少量（通常六个）惯性传感器实现全身人体运动捕捉。这些方法目前主要由计算机视觉/计算机图形社区开发，其在生物力学中的潜在用途至今仍未充分探索。然而，一个重要的问题是，这些基于机器学习的方法强烈偏向训练数据，这在临床实践中可能是有害的，因为临床实践的目标是理解患者偏离正常的程度。
虽然本工作的重点是运动学估计，但研究人员将关节角视为生物力学分析的入口，例如为使用惯性传感器估计人体动力学开辟机会。事实上，依赖于与前述章节类似假设但使用肌肉骨骼模型而非简单1D/2D/3D关节模型的方法已经被开发，并已被证明能够同时实现运动学和动力学的估计。这些方法允许相当直接地包含额外传感器模态的事实进一步增加了其潜力。
七、讨论与结论
研究人员的目标是弥合开发人体运动捕捉方法的传感器融合社区与需要在实验室外研究人体运动的易用、准确和可靠方法的生物力学社区之间的鸿沟。虽然当前常用的IMU到关节角工作流程具有显著局限性，但研究人员已经讨论了克服这些局限的近期方法，并对即将到来的方法学发展给出了展望。研究人员提出了与应用无关的关键研究设计问题，以指导如何以及何时使用哪种方法从IMU测量获取关节角，并在开源数据集上使用开源代码证明，解决这些问题将允许在存在磁场扰动的情况下将关节角估计误差限制在几度以内。
对于使用最常用工作流程的生物力学应用，研究人员建议用已被证明能产生更准确可靠估计的最新方向估计方法替换传统流行的方法。对于磁扰动环境，研究人员建议探索使用无磁力计相对方向估计，这也可以与自动校准结合。这些方法的局限是它们需要运动，并且对于假设1D/2D关节的方法，关节轴不能长时间垂直。因此，如果这些要求不满足，研究人员建议谨慎使用无磁力计方法。
虽然本论文的重点是估计关节角，但重要的是认识到关节角并不总是主要感兴趣的变量。诸如步长、质心速度或加速度等度量在某些临床或运动表现背景下可能更相关。在这种情况下，一般的基于关节角的流程可能不是最优的，因为这些量通常可以从惯性测量中更直接地估计。
总之，研究人员已经证明，一旦以结构化方式处理测量问题，惯性人体运动捕捉领域中的许多长期挑战和局限性变得可管理。通过明确考虑少数关键方面，生物力学研究者可以更容易地导航方法论格局并选择满足其需求的方法。由于近期直接可用的开源方法用于绝对和相对、无磁力计方向估计以及自动校准，这带来了精度和可靠性的显著提高。展望未来，研究人员希望这将成为协同作用的灵感来源：由生物力学见解塑造的传感器融合方法，以及基于测量实际能揭示的内容进行的生物力学分析。
