基于深度强化学习的神经肌肉信号驱动外骨骼机器人动态自适应控制框架设计

《Frontiers in Computational Neuroscience》：Design of dynamic adaptive control framework for exoskeleton robot driven by neuromuscular signal based on deep reinforcement learning

　　

摘要：为增强神经肌肉信号驱动外骨骼机器人在复杂环境中的动态适应性和鲁棒性，本研究开发了一种基于深度强化学习（DRL）的外骨骼控制框架。研究人员设计了一个神经肌肉信号处理与运动意图建模模块，涵盖带通滤波、局部归一化、时频特征提取以及双向长短期记忆网络（BiLSTM）时间序列编码。此外，研究人员建立了一个基于DRL的动态自适应控制框架。研究人员将轨迹跟踪误差、力矩平滑性、能量消耗代理、关节安全约束以及意图一致性全面引入奖励函数，以实现“精度-舒适性-能耗-安全性”的多目标平衡。对比实验表明，所提出优化系统的关节轨迹跟踪误差分别为2.37°、2.64°和2.92°，显著低于对比系统，包括基于深度强化学习的下肢康复外骨骼鲁棒控制器（DRL-RC-LLRE）和基于仿真的外骨骼辅助学习框架（LiS-EXO）。相应的力矩平滑性指标分别为0.62、0.68和0.71。机械能耗代理指标分别为10.48、11.39和11.67，表明在提高跟踪精度的同时，有效抑制了力矩振荡并降低了能耗。消融实验进一步表明，当移除神经肌肉意图嵌入、意图一致性奖励或安全约束模块中的任意一个时，平均轨迹误差、力矩平滑性和能耗指标均出现不同程度的恶化。完整模型在这三项指标上分别达到2.63°、0.66和11.17，验证了这三个关键模块对整体性能的协同贡献。总体而言，本研究构建并验证了一个可复现的“神经肌肉信号-运动意图-强化学习控制”集成框架，从而对智能外骨骼控制领域作出了一定贡献。

### 论文解读：基于深度强化学习的神经肌肉信号驱动外骨骼机器人动态自适应控制框架

#### 1. 研究背景与问题

外骨骼机器人作为人机协同增强系统的重要载体，在康复训练、日常行走辅助及工业场景减负等领域受到广泛关注。与传统刚性机械结构不同，外骨骼机器人需在复杂动态环境中与人体运动过程紧密耦合，其控制目标不仅包括轨迹跟踪与姿态稳定，还涉及运动的自然性、舒适性和长期可用性。因此，如何实现对人体运动意图的精准感知以及对外骨骼控制策略的动态自适应调整，成为该领域的关键科学问题之一。

在众多信号源中，神经肌肉信号（如表面肌电信号，sEMG）能够前瞻性地反映人体肌肉激活与运动意图，是构建“人-机-环境”闭环控制的重要信息通道。然而，此类信号具有高噪声、强非线性和显著个体/任务差异的特点，传统线性模型或简单阈值方法难以在复杂任务和多场景中稳定可靠地将其映射为高级运动意图或关节参考轨迹。另一方面，现有的外骨骼控制方法多基于预设轨迹控制、阻抗/力控制或有限状态机，依赖人工设计的控制律和先验经验，面对地形变化、负载改变或人机交互（HCI）模式变化时，适应性和泛化能力有限，难以根据“人体意图-系统状态-环境干扰”的综合变化及时更新策略。

#### 2. 研究内容与结论

针对上述问题，本研究聚焦于外骨骼机器人动态自适应控制框架的设计，旨在建立一个涵盖理论建模、算法设计和仿真实验三个关键方面的相对完整的技术路径与验证体系。研究人员基于公开神经肌肉数据集，提出了一种“信号-意图-控制”的集成框架，形成了从信号表示、运动意图建模到深度强化学习（DRL）控制输出的完整流水线。该框架通过构建四层结构（信号输入层、意图建模层、强化学习控制层、外骨骼仿真层），实现了从神经肌肉信号处理到控制指令输出的完整闭环。

研究结论表明：合理的意图建模与强化学习设计能够显著提升外骨骼的控制精度与质量，并在扰动和任务变化条件下保持良好的鲁棒性与泛化能力。通过对比实验和消融实验，验证了神经肌肉意图嵌入、意图一致性奖励和安全约束三个关键模块对整体性能的协同贡献。该研究为后续智能康复及外骨骼算法设计提供了可复现的技术路径和参考。

论文发表在《Frontiers in Computational Neuroscience》。

#### 3. 主要关键技术方法

研究人员使用公开的“多种条件下人体下肢多模态数据集”（K2MUSE），数据源自30名健康受试者（22-34岁，20男10女），涵盖不同地形（0°、±5°、±10°斜坡）和行走速度（0.5、1.0、1.5 m/s），并包含肌肉疲劳、电极偏移等非理想采集场景。主要技术方法包括：(1) 构建了“原始信号→时频特征→时间序列编码→运动意图”的完整建模流程，采用带通滤波、局部归一化、短时能量和频谱质心等时频特征提取，并利用双向长短期记忆网络（BiLSTM）进行时间序列编码；(2) 建立了基于深度强化学习（DRL）的动态自适应控制框架，将运动意图、外骨骼动态状态和环境参数向量组合成状态输入，并采用软演员-评论家（Soft Actor-Critic, SAC）算法作为主要训练框架；(3) 设计了包含轨迹跟踪误差、力矩平滑性、能耗代理、关节安全约束和意图一致性的多目标加权奖励函数，以实现“精度-舒适性-能耗-安全性”的平衡。

#### 4. 研究结果

**（1）性能对比实验**

在三个数据子集（A、B、C）上，所提出的优化系统在关节轨迹跟踪误差上分别为2.37°、2.64°和2.92°，显著低于对比系统（DRL-RC-LLRE和LiS-EXO）；力矩平滑性指标（RMS）分别为0.62、0.68和0.71，优于对比系统；机械能耗代理指标分别为10.48、11.39和11.67，在三个系统中始终保持最低。配对t检验结果表明，所有性能提升均具有统计学显著性（p<0.05）。

**（2）鲁棒性与泛化性能评估**

- **信号噪声扰动鲁棒性**：优化系统的性能下降率在子集A、B、C上分别为9.48%、10.71%和12.36%，远低于对比系统（DRL-RC-LLRE在子集C上达23.29%）。
- **电极偏移扰动鲁棒性**：优化系统的性能下降率分别为11.73%、12.89%和13.26%，显著低于对比系统（DRL-RC-LLRE在子集C上达26.47%）。
- **未见任务场景泛化能力**：优化系统在三种未见任务场景（G1:无步态组合、G2:无速度/坡度、G3:复合扰动）下的任务成功率分别为93.47%、91.62%和90.18%，均高于对比系统（DRL-RC-LLRE在G3为81.92%，LiS-EXO为84.63%）。

统计检验表明，所有优势均具有显著性（p<0.05）。

**（3）消融实验**

完整模型在关节轨迹跟踪误差（2.63°）、力矩平滑性（0.66 RMS）和能耗代理（11.17）三项指标上均表现最佳。移除神经肌肉意图嵌入模块后，误差升至3.21°，能耗增加；移除意图一致性奖励后，力矩平滑性显著恶化（RMS升至0.81），能耗增加；移除安全约束后，力矩平滑性最差（RMS升至0.93），能耗最高（12.47），表明策略会以“激进控制”换取局部误差减小。

**（4）时间编码器消融实验**

对比BiLSTM与Transformer编码器：BiLSTM在轨迹跟踪误差（2.63° vs. 2.79°）、力矩平滑性（0.66 vs. 0.74 RMS）和能耗代理（11.17 vs. 11.58）上均优于Transformer。结果表明，BiLSTM的双向循环结构更适用于当前任务中神经肌肉信号时频特征序列的局部连续性和相位转换特性建模。

#### 5. 讨论与结论

**讨论部分**总结：本研究基于公开数据集和仿真平台构建了从神经肌肉信号处理、运动意图建模到DRL控制策略设计的完整研究流程，形成“信号-意图-控制”集成框架。研究表明，合理的意图建模和强化学习设计能显著提升外骨骼控制精度与质量，并在扰动和任务变化下保持良好鲁棒性与泛化能力。然而，本研究仍存在局限性：控制算法主要基于单一SAC框架，在训练成本、样本效率和对奖励函数设计的敏感性方面存在不足。后续工作可考虑模型强化学习、离线强化学习或分层强化学习等方法，以提高样本效率和训练稳定性，并减少对人工奖励设计的依赖。

**研究结论部分**翻译：本研究构建了一个基于开放数据集和仿真平台的总体研究流程，从神经肌肉信号处理、运动意图建模到DRL控制策略设计，形成了一个相对完整的“信号-意图-控制”集成框架。研究表明，合理的意图建模和强化学习设计能够显著提升外骨骼的控制精度与质量，并在扰动和任务变化条件下保持良好的鲁棒性和泛化能力，为后续智能康复及外骨骼算法设计提供了可复现的技术路径和参考。尽管本研究在神经肌肉信号驱动外骨骼的控制方面取得了一定进展，但仍存在需要后续工作进一步改进和扩展的局限性。控制算法主要基于单一SAC框架，虽然在连续控制任务中表现良好，但在训练成本、样本效率和对奖励函数设计的敏感性方面仍存在不足。目前策略训练依赖大规模交互样本，参数调整耗时，且对奖励权重设置和归一化敏感。后续工作可考虑模型强化学习、离线强化学习或分层强化学习等方法，以提高样本效率和训练稳定性，同时降低对人工奖励设计的依赖。总体而言，本研究为神经肌肉信号驱动的DRL外骨骼控制提供了一个可复现和可扩展的基础框架。后续研究将继续在数据多样性、算法效率、多模态融合和真实系统验证等方向进行拓展，以进一步推动智能外骨骼控制技术向更智能、自适应、安全和可靠的方向发展。