《Biomedical Signal Processing and Control》：Deep learning gait phase recognition based on fusion of multiple information and attention mechanisms
编辑推荐：
步态周期识别准确率提升至96.53%，通过融合IMU和sEMG传感器数据，采用CNN-BiLSTM混合架构结合双注意力机制优化时空特征提取，解决复杂步态个性化控制难题。
李晨浩|孙佳怡|高玉佳|冯成龙|王梓琳|张海峰|牛文新
上海工程技术大学机械与汽车工程学院，中国上海201620
摘要
基于步态参数设计的外骨骼装置为增强老年人的运动功能提供了一种有前景的解决方案。然而，当前的步态阶段识别技术在满足个性化需求方面仍面临挑战，特别是在识别精度和提取复杂特征的能力方面。为了解决这些问题，本研究提出了一种双注意力机制，该机制结合了堆叠的交替卷积神经网络（CNN）和双向长短期记忆网络（BiLSTM）（SACNN-BiLSTM-Attention）模型，旨在准确识别步态周期的四个阶段。我们从老年人和中风患者在不同行走速度下的单侧踝关节收集了运动轨迹数据。在对惯性测量单元和表面肌电图传感器的数据进行预处理和特征提取后，模型采用了堆叠的交替CNN-BiLSTM框架进行特征学习和时间建模。双注意力机制的引入增强了关键的时间和特征信息。通过与传统模型、结构变体、双传感器融合、不同特征组合以及泛化能力的比较，全面评估了该模型的性能。结果显示，在传感器和特征融合设置下，该模型的识别精度达到了96.53%，为复杂的步态阶段识别提供了一种新方法，并为未来外骨骼系统的个性化控制提供了见解。
引言
由于中风、脊髓损伤、帕金森病和衰老等原因，下肢运动功能障碍的发病率不断增加[1]，不规则的步态模式和活动能力下降不仅威胁到了人们的独立性，还显著增加了跌倒的风险[2]。下肢外骨骼在辅助或恢复由神经系统疾病引起的运动功能方面显示出巨大潜力[3][4]。早期的外骨骼通常依赖于固定的控制模型或预设的轨迹跟踪策略，这些策略无法适应步态模式、运动意图或生理信号的变化，从而限制了人机协调和康复效果[5]。因此，精确的步态识别对于提高外骨骼辅助性能和治疗效果至关重要[6]。
人类步态是一种有节奏的运动，步态周期定义为从脚后跟首次接触地面到再次接触地面的时间间隔[7]。临床上广泛采用的四阶段模型（包括全脚接触、脚后跟离地、脚后跟着地和摆动阶段）在表征踝关节动力学和优化外骨骼控制时机方面具有独特优势[8]。作为人类活动识别的一个关键分支，步态阶段识别在医学诊断[9][10][11]和康复研究[12][13]中起着重要作用。基于步态阶段识别的控制策略可以显著优化外骨骼辅助效果，提高人机交互的协调性和舒适性[14][15][16]。
大多数现代步态识别研究使用可穿戴传感器，如惯性测量单元（IMU）、足底压力传感器和表面肌电图（sEMG），以避免依赖环境和视觉系统的复杂性[17]。基于足底压力传感器和脚部开关的传统方法可以实现基本的阶段检测[18]，但难以满足个性化和精确康复控制的需求。随着人工智能的进步，支持向量机和随机森林等传统算法已被应用于识别日常生活活动（包括行走、进食和驾驶[19][20][21][22]），而卷积神经网络（CNN）、长短期记忆网络（LSTM）及其混合体等深度学习架构的引入使得时空特征提取更加有效，分类性能也得到了提升[14][18]。
然而，现有的研究主要针对健康的年轻人，这限制了其在临床人群（如老年人或运动功能障碍患者）中的应用[23]。此外，尽管踝关节在正常步态中起着关键作用[24]，但很少有研究探讨踝关节特异性特征如何有助于步态阶段识别，尤其是在病理步态中。此外，尽管在传感器选择、放置和与机器学习模型的集成方面取得了进展[18]，但深度学习算法和多传感器融合技术在复杂步态阶段识别方面的应用尚未得到充分探索。
为了解决这些挑战，我们提出了一种采用堆叠的交替CNN-双向LSTM架构和双注意力机制（SACNN-BiLSTM-Attention）的步态阶段识别方法。该网络结合了CNN进行空间特征提取、BiLSTM进行时间序列建模，以及一个双注意力机制，该机制能够自适应地权衡特征维度和时间步长。这种组合使得在复杂步态模式中准确检测关键特征成为可能，从而提高了不同活动能力个体的识别精度。此外，本研究还与三种模型（CNN、LSTM、CNN-BiLSTM）进行了比较，并评估了双传感器融合和特征组合策略对分类性能的影响。这项研究为步态阶段的自适应控制提供了算法基础，强调了建模的有效性和跨个体的鲁棒性，具有提升康复外骨骼中人机协调性的潜力。
实验程序
本实验共招募了20名受试者，包括13名行走功能正常的老年人和7名中风患者。受试者的平均年龄为61.60 ± 14.96岁，平均身高为162.25 ± 8.20厘米，平均体重为62.45 ± 9.00千克。在行走功能正常的老年人中，所有人都表现出右侧优势。在中风患者中，4人患有右侧偏瘫，3人患有左侧偏瘫。
在
结果
图4展示了四种模型的训练损失曲线，我们提出的SACNN-BiLSTM-Attention模型的训练过程如图4(d)所示。损失曲线表明该模型没有出现过拟合现象。尽管模型结构相对复杂，但训练集和测试集之间的损失值差异很小，平均差异为0.001，这表明模型保持了较高的整体稳定性。
为了验证
讨论
本研究提出了SACNN-BiLSTM-Attention模型，以克服目前限制下肢外骨骼的步态识别精度问题。通过堆叠的交替CNN进行空间编码和BiLSTM进行时间建模，并结合了特征和时间维度的双注意力机制，该模型确保了关键信号的提取与动态变化的准确捕捉保持一致。我们构建了一个包含sEMG和IMU的定制数据集，所提出的模型
结论
本研究提出了SACNN-BiLSTM-Attention模型，该模型通过堆叠的交替网络整合了CNN和BiLSTM的优势，并引入了特征-时间双注意力机制来预测和识别复杂的步态模式。该模型在四阶段步态识别中的准确率为96.53%。传感器融合和特征组合进一步增强了多源信息融合在复杂步态识别中的优势和一定的泛化能力。这种方法
作者贡献声明
李晨浩：撰写 – 审稿与编辑，撰写 – 原稿，软件开发，方法论，数据分析，概念化。孙佳怡：撰写 – 审稿与编辑，可视化，软件开发，方法论，调查。高玉佳：撰写 – 审稿与编辑，验证，方法论，数据分析。冯成龙：撰写 – 审稿与编辑，验证，项目管理，概念化。王梓琳：撰写 – 审稿与编辑，软件开发，数据分析。张海峰：撰写 –
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究工作。
致谢
本研究得到了国家自然科学基金（12472314）和上海创新医疗器械应用示范项目（23SHS05400-06）的支持。
