基于3-IMU可穿戴传感器网络、Transformer模型及可部署边缘计算的下肢实时运动学重建(Real-Time Kinematic Reconstruction of Human Lower Limbs Using a 3-IMU Wearable Sensor Network, Transformer Model, and Deployable Edge Computing)
《Sensors》：Real-Time Kinematic Reconstruction of Human Lower Limbs Using a 3-IMU Wearable Sensor Network, Transformer Model, and Deployable Edge Computing
编辑推荐：
连续在自然环境下监测下肢运动学对于步态分析与康复训练至关重要，但受限于光学系统的场地束缚与传统稀疏惯性传感器方法精度不足的问题。为此，研究人员提出了一种仅使用佩戴于骨盆与双侧小腿共三个惯性测量单元(Inertial Measurement Unit, IMU)
连续在自然环境下监测下肢运动学对于步态分析与康复训练至关重要，但受限于光学系统的场地束缚与传统稀疏惯性传感器方法精度不足的问题。为此，研究人员提出了一种仅使用佩戴于骨盆与双侧小腿共三个惯性测量单元(Inertial Measurement Unit, IMU)的高精度简约可穿戴系统。在数据预处理阶段，基于传统梯度下降算法进行工程化改进，对单节点IMU的加速度与磁场数据进行自适应通道调整，以缓解运动加速度与外界磁干扰对时域特征流形的影响。随后采用纯Transformer神经网络捕捉长距离时域依赖关系，在无刚性生物力学假设的前提下重建完整下肢运动学。模型经优化部署于STM32N647微控制器，实现约17 ms低延迟的实时边缘推理。实验结果表明，该方法在水平行走任务中平均绝对误差(Mean Absolute Error, MAE)达2.41°，显著优于传统约束卡尔曼滤波(Constrained Kalman Filter, CKF)方法，且在深蹲、弓步等复杂非线性动作中保持较高跟踪鲁棒性。综上，该基于边缘计算的框架为无约束日常场景下的人体运动捕捉提供了精确、舒适、实时的解决方案。
《Sensors》刊载论文解读：基于3-IMU网络与Transformer的下肢实时运动学边缘重建
一、研究背景与立项依据
下肢运动学重建是临床诊断运动障碍、评估步态及康复进展的重要手段。目前光学动作捕捉(Optical Motion Capture, OMC)系统被视为"金标准"，但价格昂贵且受限于受控实验室环境。商用可穿戴惯性系统（如Xsens）虽可脱离实验室，但通常需密集传感器阵列（如17个IMU全身套装），日常长期佩戴繁琐。基于稀疏IMU(Sparse IMU)的运动重建(Reconstruction from Sparse Sensors, RSC)早期依赖生物力学约束模型（如双摆模型、约束卡尔曼滤波CKF、Sparse Inertial Poser SIP），但过度简化假设（膝关节为理想铰链、存在静止支撑相等）使其在非周期动作（侧步、跳跃）下误差累积严重。近年数据驱动方法（Deep Inertial Poser DIP、TransPose、DeepConvLSTM）虽摆脱部分物理假设，但多依赖AMASS等SMPL模型合成数据集，存在仿真-现实差距(Sim-to-Real Gap)，且LSTM/Bi-RNN架构缺乏全局自注意力，长序列易角度漂移（误差可达13°–16°）。因此，亟需开发基于少量真实IMU、抗干扰、能捕捉长时依赖并在边缘端实时运行的下肢运动学重建方案。
二、主要关键技术方法
研究招募12名健康受试者（10男2女，年龄24.5±2.1岁，身高172.4±6.8 cm，体重60.2±12.5 kg），以NOKOV MARS2H八摄像头光学动作捕捉系统(100 Hz)为金标准，采集水平行走(6 min)、深蹲、前后弓步、多方向抬腿(各2 min)共约216 min数据。硬件采用3节点ICM-20948 IMU（骨盆+双侧胫骨内侧）星形无线传感网，STM32N647为主控通过NRF24L01接收(100 Hz)并经DMA入环缓。预处理提出带动态置信因子αa、βm的自适应梯度下降姿态解耦算法，抑制运动加速度与磁场干扰分别解算俯仰(Pitch)/横滚(Roll)与偏航(Yaw)；输入特征转换至相对骨盆坐标系并做初始帧增量归一化消除佩戴偏差，真值(MoCap五刚体相对四元数)同步做首帧对齐。搭建双层Transformer Encoder网络（滑动窗T=90帧/0.9 s，线性投影至dmodel=32，4头自注意力，FFN dff=64，Dropout 0.2；全局平均池化Global Average Pooling后两层MLP回归5×4四元数并L2归一化至SO(3)空间），损失函数采用四元数距离(Quaternion Distance Loss, 1-|q?·qgt|)规避双覆盖歧义。数据集按8:2:2划分为训练/验证/独立测试集，Adam优化器(学习率0.000342，L2权重衰减)，早停(Early Stopping, Patience=10)，在线加高斯噪声(σ=0.01)与5%随机通道掩码(Random Channel Masking)增强泛化。最终通过STM32Cube.AI量化部署至STM32N647 NPU。
三、研究结果
3.1. Model Training and Convergence Analysis（模型训练与收敛分析）
研究人员监控四元数绝对余弦距离损失，训练损失从Epoch 0约0.204骤降至Epoch 1约0.035，最终平滑收敛至≈0.004；验证损失初始≈0.015，稳定于≈0.008，两曲线无发散或过拟合迹象。Early Stopping于Epoch 29触发保存最优权重，表明纯Transformer对分布式IMU时序中空间运动特征具高敏感性与良好泛化性。
3.2. Kinematic Posture Reconstruction Results and Accuracy Analysis（运动学姿态重建结果与精度分析）
- •
3.2.1. Qualitative Analysis of Temporal Tracking Trajectories（时域跟踪轨迹定性分析）：水平行走预测曲线与MoCap地面真值在相位与频率上高度一致无滞后；大范围动作（深蹲、弓步、抬腿）能恢复主要解剖轴宏观趋势，未直接贴传感器的股骨段亦能被推断，但局部幅值存在基线偏移（如大腿Pitch低估、小腿Roll峰值略低）。高动态动作（跑、跳）因软组织伪影(Soft Tissue Artifact, STA)加剧及前端算法过度抑制加速度校正致短时陀螺积分漂移，精度较行走下降。
- •
3.2.2. Quantitative Analysis of Joint Reconstruction Accuracy（关节重建精度定量分析）：水平行走所有关节三轴MAE严格<4°（矢状面Pitch最优），整体均值MAE=2.41°；弓步与抬腿各关节MAE≤5°；深蹲右小腿Roll因腓肠肌压迫传感器微移致STA出现较大误差(9.94°)，但趋势仍正确。Pearson相关系数(Pearson Correlation Coefficient, PCC)在大活动幅值轴>0.89，极小活动轴（如深蹲骨盆Yaw、行走大腿Pitch PCC≈0.03–0.05）因信噪比极低被网络拟为近静态常量，其MAE仍<5°，证明无发散。
3.3. Comparison with State-of-the-Art Methods（与现有先进方法对比）
同等3-IMU配置下CKF法MAE达16.1°；6-IMU的TIP(Deep Inertial Poser衍生)基于仿真训练MAE=12.19°；5-IMU DeepConvLSTM MAE=3.6°。本研究以仅3-IMU、真实数据端到端训练获行走MAE=2.41°，优于需更多传感器的对比深度学习方法，验证了最小硬件配自注意力架构的优越性。
3.4. Ablation Study（消融实验）
对比纯Transformer、CNN–Transformer、CNN–LSTM、纯LSTM四架构。Transformer系列(含纯Transformer)在各关节MAE及标准差上均低于LSTM系列；纯Transformer与CNN–Transformer性能几乎一致(差异<0.5°)，说明线性投影+多头自注意力已可直接建模IMU信号非线性映射，无需额外1D-CNN局部感受野提取。去除前端自适应解耦会使部分轴误差升高，证实软硬件协同预处理有效性。
四、讨论与结论翻译
讨论指出：3-IMU配合Transformer有效平衡简约佩戴与精度，克服基于模型法对非周期运动敏感缺陷，但受STA影响在高动态时尚存局限，未来拟引入生物力学约束损失及更优传感器固定方式（外踝骨性标志处刚性夹具），并扩展病理步态（膝骨关节炎Osteoarthritis OA、卒中偏瘫）数据集与性别均衡队列（纳入女性Q角解剖先验）。边缘部署利用STM32N647 NPU使量化模型Flash占用196.89 KB、RAM 240.09 KB，单次90帧推理延时≈17 ms，支持完全离线实时运行。
结论翻译如下：
本文提出、设计并实现了一套基于分布式边缘计算与深度学习的最小可穿戴下肢运动学重建系统。主要贡献归纳为：(1)硬件架构：开发了由STM32F103预处理节点与STM32N647推理主节点组成的星型拓扑分布式动作捕捉平台，有效缓解多传感器高频数据传输带宽瓶颈；(2)底层算法：推导并嵌入带动态置信因子的改进自适应姿态解耦算法，提升人体动态条件下IMU姿态估计性能，为下游重建网络提供更稳时域特征流；(3)深度学习模型：提出并验证基于Transformer的架构融合多模态时域输入（四元数、加速度与角速度增量），实现缺失下肢节段运动学的精确端到端重建；(4)工程部署：浮点神经网络成功量化并部署于资源受限微控制器，达成系统完全独立实时运行。
