基于强化学习的辅助控制技术，用于根据虚拟生物力学模型实现肩部康复机器人的智能操控

《Mechatronics》：Reinforcement learning-based assist-as-needed control for shoulder rehabilitation robot based on virtual biomechanical model

肩关节康复机器人采用机器学习增强的Assist-as-Needed（AAN）控制策略，通过虚拟生物力学模型（VBSRM）实时估计关节扭矩，结合强化学习动态调整阻抗参数，使10名健康受试者的机器人助力减少30%的同时保持轨迹跟踪精度和阻抗稳定性。

　　

Muhammad Faizan Shah

澳大利亚堪培拉大学科学技术学院，堪培拉

摘要

本文提出了一种用于肩部康复机器人的自适应控制策略，该策略利用基于机器学习的“按需辅助”（AAN）框架来提高康复任务的透明度和用户参与度。所提出的控制架构将传统的阻抗控制器与基于强化学习的扭矩调节层集成在一起，能够主动适应患者的努力程度。通过使用虚拟生物力学肩部机器人模型（VBSRM）开发的肩关节生物力学模型，可以估算关节扭矩和刚度值。实验评估涉及10名健康受试者，比较了AAN模式与传统被动控制的性能。结果表明，AAN策略可将关节扭矩和努力程度降低多达30%，同时保持精确的轨迹跟踪和稳定的阻抗调节。在AAN控制下，刚度曲线显示出更平滑、根据用户情况变化的特性，表明辅助具有响应性和适应性。所提出的方法提供了一种稳健且节能的康复接口，为物理人机交互系统中的智能、个性化治疗方案奠定了基础。

引言

机器人辅助康复已成为支持中风和其他神经系统损伤患者功能恢复和神经可塑性的变革性方法[1,2]。近年来，上肢康复机器人因其能够提供高强度、重复性和特定任务的训练，并能够客观评估患者进展而受到重视[3,4]。在上肢的各个关节中，肩关节在生物力学上最为复杂，对手的活动范围贡献最大[5]。因此，设计肩部康复机器人系统和控制策略时需要谨慎考虑解剖学、生物力学和神经肌肉因素[6,7]。

康复机器人技术中的传统控制策略主要依赖于基于阻抗的控制范式（如导纳控制和阻抗控制），以确保人机交互的有效性和安全性[8]。这些方法允许机器人根据预定义的机械阻抗参数来适应人类的意图和努力程度。尽管这些方法在实现安全耦合方面有效，但往往缺乏对用户变化情况的适应性和个性化[9]。为了解决这些问题，“按需辅助”（AAN）控制器逐渐受到关注，其目标是在鼓励患者参与的同时提供必要的机器人辅助[10]。AAN控制器通过动态调整机器人辅助水平来促进患者的参与[11]。

近期文献中提出的AAN控制策略引入了动态适应机制，根据交互力或用户努力程度来调整辅助，通常结合生物力学建模生成生理上真实的控制信号[12]。作者团队之前的工作为一种肩部康复机器人提出了一个AAN控制框架，该框架集成了基于并行机制的虚拟生物力学肩部机器人模型（VBSRM）[13]。

VBSRM模拟了人类肩部的运动学和动力学，以实时估算关节扭矩，然后使用自适应系数将这些扭矩与机器人扭矩相结合。虽然这种方法在健康受试者执行日常生活活动（ADLs）时显示出了有希望的结果，但也存在一些局限性。基于梯度的刚度更新假设跟踪误差与辅助需求之间存在线性关系，这限制了系统捕捉中风患者常见的复杂、非线性或时变行为的能力。此外，现实世界的康复过程涉及诸如痉挛、疲劳、努力程度不一致以及恢复轨迹异质性等复杂动态，这些难以通过分析建模。这些局限性凸显了需要更智能、数据驱动的控制策略，以便从经验中学习并更有效地预测用户需求。

基于规则的AAN控制器（如基于阻抗调节、梯度规则或预设阈值的控制器）的通用性通常较差[14]。这些方法难以适应多样化的神经肌肉状况，因为它们通常基于对用户行为的理想化假设进行设计[15]。例如，根据患者的运动能力，固定的适应增益可能过于激进或过于保守，而基于基本误差的更新可能无法区分自愿运动和非自愿运动[14]。为了实现患者特定的适应、更好地建模用户努力程度以及提高响应性，越来越多的人开始在康复控制框架中整合机器学习（ML）技术。

多年来，许多研究人员已经部署了基于AAN的控制器，以实现康复机器人的可靠和高效控制[[16], [17], [18]]。Pehlivan等人[19]为上肢康复机器人部署了一种基于干扰观测器的AAN控制器，旨在消除估计的用户输入并提供可调的跟踪误差。

假设机器人完全可逆驱动，在[20]中提出了一种基于阻抗控制的AAN方法，该方法在参考轨迹周围设置了一个无扭矩区域。在[21]中提出了一种基于受试者功能能力的AAN控制器，作者提出了一种估算算法来估计受试者的功能能力指数，作为适应控制律的输入。

康复中的一个重要挑战是估计人类用户的努力程度和与机器人的交互力[22]。如果要开发能够适当响应患者需求的自适应控制器，这一点尤为重要。多项研究证明了机器学习技术在康复机器人技术中的实用性，特别是在努力程度估计、辅助预测和轨迹调整方面[23]。

监督学习算法（如神经网络）已被用于从生物信号（例如肌电图EMG、脑电图EEG）或运动学数据中推断用户意图，从而实现上下文感知的交互控制。循环模型（如长短期记忆LSTM网络）特别适用于捕捉努力程度演变、关节刚度和运动恢复趋势中的时间依赖性[24]。

强化学习（RL）是另一种强大的工具，可用于开发优化长期治疗目标的智能控制策略[25,26]。与基于规则的控制不同，RL可以通过与环境互动来学习调整机器人行为，最大化奖励（如最小化辅助、促进参与或实现所需的运动精度）。最近的研究还探索了深度强化学习在外骨骼控制中的应用，学习到的策略在模拟和真实环境中都优于固定增益控制器[27]。

尽管取得了这些进展，但将机器学习整合到结合生物力学模型的AAN控制框架中仍然是一个未充分探索的领域。大多数基于ML的控制器要么缺乏生理解释性，要么忽略了人类关节的潜在动态。将数据驱动的学习与基于物理的模型（如VBSRM）相结合，为开发既保留生物力学合理性又能有效适应复杂用户行为的智能控制器提供了有希望的途径。

在本文中，作者提出了一种新型的机器学习增强型AAN控制框架，用于肩部康复机器人，克服了基于规则的刚度调节的局限性。本研究的主要贡献如下：

1. 1.
   使用机器学习进行努力程度预测：我们用基于高斯混合回归（GMR）和循环神经网络（RNNs）的学习模型替换了基于梯度的刚度更新方法。这些模型从历史运动数据、交互力和关节扭矩数据中预测用户努力程度和运动恢复趋势。
2. 2.
   用于辅助调节的强化学习：本研究采用强化学习（RL）来学习计算辅助混合系数的最佳策略，以平衡机器人和用户的扭矩贡献。RL代理接收来自关节运动学、交互动力学和努力程度预测的状态信息，并学习在确保安全和有效完成任务的同时最小化辅助。
3. 3.
   与VBSRM的集成：与黑盒ML控制器不同，我们的方法保留了现有VBSRM的可解释性和生物力学真实性。扭矩估计和执行器轨迹是从基于并行机制的模型中计算得出的，确保辅助曲线保持生理基础。
4. 4.
   实验评估：使用10名健康受试者的数据验证了所提出的框架，并将学习模型的性能与基于梯度的基线控制器进行了比较。评估指标包括跟踪精度、刚度演变、辅助系数行为和估计的努力轨迹。

文章的其余部分组织如下：第2节介绍了肩部康复机器人和虚拟生物力学肩部机器人模型的系统描述和数学建模细节。第3节专注于控制器设计。第4节详细介绍了实验方法，第5节展示了结果和讨论，第6节总结了文章。

节选内容

肩部康复机器人

所研究的肩部康复机器人具有电动化的肩关节和肘关节。肩部康复机器人的CAD模型和实验原型分别如图1(a)和1(b)所示。该康复机器人旨在尽可能模仿自然的人体肩部运动。与肩关节相关的三个自由度是屈曲/伸展、外展/内收以及内旋/外旋。肘关节被建模为能够提供屈曲和伸展功能。

实验验证

为了评估所提出的AAN控制框架，实验在10名健康受试者（7名男性和3名女性，年龄22-38岁；身高143-183厘米，体重52-98公斤）中进行，所有受试者均无已知的神经肌肉或神经系统疾病史。在参与实验之前，每位受试者都获得了知情同意，并且研究方案获得了堪培拉大学人类研究伦理委员会的批准（批准编号：11800）。受试者接受了全面的说明。

结果与讨论

本节通过实验验证了所提出的“按需辅助”（AAN）控制策略，这是一种受机器学习启发的控制层，结合了虚拟生物力学肩部机器人模型（VBSMR）。通过对10名健康受试者的控制实验，评估了该系统通过实验学习的刚度调节和实时努力程度估计来调整机器人辅助的能力。

结论

本研究提出了一种混合控制架构，将基于RL的AAN框架与生物力学模型结合用于肩部康复机器人。通过根据实时交互数据动态调整扭矩辅助，所提出的系统显著提高了肩部康复机器人的适应性和透明度。对关节扭矩、努力程度和刚度曲线的比较分析显示，控制努力程度有了一致的降低。

CRediT作者贡献声明

Muhammad Faizan Shah：撰写——原始草稿、可视化、验证、监督、软件开发、资源管理、方法论设计、研究调查、资金获取、正式分析、数据整理、概念构思。

Muhammad Faizan Shah获得了澳大利亚堪培拉大学的机器人学博士学位。他目前担任澳大利亚堪培拉大学科学技术学院的兼职学术人员。他的研究兴趣包括机器人辅助的生物力学建模康复、肌肉骨骼系统、人机交互以及机器人系统的非线性控制。