《Frontiers in Neurorobotics》：Subject-independent gait activity recognition using DSAF: dual-stream IMU-EMG attention fusion with asymmetric temporal encoding and physiological complementarity weighting
编辑推荐：
引言：使用可穿戴传感器进行准确的步态识别对于自适应假肢控制、下肢外骨骼辅助和客观的康复评估具有显著的临床价值。然而，跨受试者识别仍然是一个主要挑战，因为未见过的新受试者可能表现出高度可变的肢体运动学 和肌肉激活模式，并且现有的方法通常依赖单一的传感器模态或简单
引言：使用可穿戴传感器进行准确的步态识别对于自适应假肢控制、下肢外骨骼辅助和客观的康复评估具有显著的临床价值。然而，跨受试者识别仍然是一个主要挑战，因为未见过的新受试者可能表现出高度可变的肢体运动学 和肌肉激活模式，并且现有的方法通常依赖单一的传感器模态或简单的融合策略，未能有效利用惯性测量信号和肌电 信号之间的互补信息。
方法：为了解决这些空白，本研究提出了DSAF，这是一种双流注意力融合网络，它分别编码运动学（IMU）和神经肌肉（EMG）信息，并通过专为窗口级模态自适应设计的生理互补性加权机制将它们整合。该框架在公开的HuGaDB数据集上对八种常见移动活动（例如，步行，跑步，楼梯交涉和坐到站转换）进行了评估，使用留一受试者交叉验证 协议来严格评估对新用户的泛化能力。
结果：DSAF实现了96.41%的准确率，96.08%的宏平均精确率，95.62%的宏平均召回率和95.81%的宏平均F1分数，在所有18名预留受试者中始终优于最近的序列学习基线。消融研究进一步证实，特定模态编码和自适应融合机制都对性能有积极贡献。
讨论：这些发现表明，自适应的IMU-EMG融合可以有效地增强可穿戴步态识别，为现实世界的康复监测和辅助人机界面 提供了一个有前途的解决方案。
基于可穿戴传感器的步态识别在康复工程、假肢控制和外骨骼辅助等临床领域具有重要的应用价值。尽管可穿戴设备相比传统摄像头具备抗光照干扰和保护隐私等显著优势，但实现跨受试者的泛化识别仍面临巨大挑战。由于新用户的步态节律、肢体优势及肌肉募集时间存在显著个体差异，直接将训练好的模型应用于新用户往往效果不佳。此外，目前的多模态融合方法多采用简单的早期融合或晚期融合策略，无法充分挖掘惯性测量单元（IMU，提供肢体运动学信息）与表面肌电图（EMG，反映神经肌肉激活状态）之间的互补优势，容易造成高维度的IMU信号掩盖低维度EMG信号的特征表达。为了突破现有识别框架的泛化瓶颈与方法局限，研究人员提出开展此项研究，期望通过设计更合理的特征编码与融合机制，提升跨受试者步态活动识别的准确性与鲁棒性。该研究成果已发表在《Frontiers in Neurorobotics》期刊上。
为了开展此项研究，研究人员主要采用了以下关键技术方法：首先，基于公开的HuGaDB数据集构建了包含18名健康受试者的样本队列，提取其双侧下肢六组IMU与双侧股四头肌两路EMG同步数据。其次，设计了双流注意力融合网络（DSAF），采用非对称时间编码结构针对高维IMU和低维EMG信号分别构建特定的时序卷积编码器。随后，引入生理互补性加权机制，通过注意力模块动态估计窗口级别的模态权重并执行加权融合。最后，采用留一受试者交叉验证（LOSO）策略进行外部验证，并利用统计检验对比多种基线模型性能。
研究结果部分详细展示了各项实验发现：
总体比较
通过在LOSO评估协议下对比DSAF与多种深度学习基线模型（如LSTM、CNN-BiGRU、Attn-TCN-BiGRU等），研究人员得出DSAF在所有总体评估指标上均取得最优表现的结论。该模型实现了96.41%的准确率、96.08%的宏平均精确率、95.62%的宏平均召回率以及95.81%的宏平均F1分数。统计检验显示，相较于最强基线模型，DSAF性能提升具有显著统计学意义（p < 0.001），证明了双流注意力融合设计在跨受试者场景下的卓越泛化能力。
受试者的LOSO一致性
通过可视化分析18名预留受试者在各折交叉验证中的宏平均F1分数分布，研究人员得出DSAF优势具有高度稳定性和普适性的结论。DSAF的各折得分稳定集中于较高区间内，且不存在因单一极端容易识别的受试者而拉高整体均值的异常现象。这一结论印证了该改进是普遍的跨受试者性能提升，证实了模型对未见个体具备稳健的泛化能力。
类别表现与注意力分析
通过分析各类别活动的分类指标及混淆矩阵，并结合每个窗口的模态注意力权重，研究人员得出不同活动类型对模态依赖程度存在差异的结论。奔跑等具备显著运动学特征的活动更依赖IMU权重，而上下楼梯及坐站转换等运动学轨迹易混淆的过渡性活动则表现出更高的EMG注意力权重。这表明模型能够自适应地利用神经肌肉激活的时间线索来区分仅靠运动轨迹难以区分类别的活动。
消融研究
通过对比仅含单模态流网络、早期融合网络及有无注意力机制的双流网络等变体，研究人员得出特定模态独立编码和自适应融合机制均正向贡献识别性能的结论。仅使用IMU流的表现已优于多数基线，仅使用EMG流效果最弱，而结合两者的双流结构显著提升了识别率。加入注意力模块的完整DSAF模型在仅增加极少推理时延的前提下进一步提高了准确率，验证了自适应模态加权机制对避免高维信号主导低维信号的关键作用。
在讨论与结论部分，研究人员进一步总结了本研究的核心发现与局限性。研究结论部分明确指出，本研究提出的DSAF框架通过非对称特定模态时序编码器处理同步的IMU与EMG信号，并结合生理互补性加权机制进行融合，在HuGaDB数据集的LOSO评估中达到了96.41%的准确率和95.81%的宏平均F1分数，显著优于现有基线方法。消融实验证实双模态提供了互补信息，而注意力机制相较于简单的融合策略带来了稳定的性能增益。外部数据集验证也表明该IMU时序骨干网络具备良好的跨域迁移能力。最后，讨论部分也客观指出了研究的局限性：当前HuGaDB数据集仅包含单侧股四头肌的表面肌电信号，无法全面代表整个下肢神经系统状态，导致当前EMG模态的增益被低估；加之受试者群体单一且评估处于离线阶段，未来仍需在包含丰富临床多部位EMG数据的多样本队列上进行验证，并探索轻量级嵌入式设备的在线实时部署，以实现广泛的临床康复监测目标。
