用于下肢外骨骼的单评论家自适应动态规划控制及步态在线优化

《Neurocomputing》：Single-critic adaptive dynamic programming control with gait online optimization for lower limb exoskeleton

　　

摘要
本研究提出了一种基于多源传感器融合的下肢外骨骼实时步态优化和单评论家自适应动态规划（ADP）控制策略。首先，基于人类步态的不同幅值和频率，构建了一种基于松冈振荡器的中枢模式发生器（CPG），以在线学习周期性轨迹。然后，设计了一个导纳回路，根据人 - 外骨骼交互力矩补偿实时轨迹误差，从而保证操作者的佩戴舒适性能。随后，采用动态运动基元（DMP）技术来优化所需轨迹，因为 CPG 输出存在步态抖动和传感器噪声。此外，提出了一种带有单评论家神经网络的自适应动态规划控制器，以实现人 - 外骨骼协同运动。最后，通过主动和被动运动模式下的实验结果验证了所提步态优化和控制策略的有效性，结果表明具有良好的跟踪性能、有界的关节误差和可接受的人 - 外骨骼交互力矩。

引言
外骨骼机器人的快速发展使其在康复 [1], [2]、辅助行走和工业力量增强方面得到了广泛应用。外骨骼可以为运动障碍个体提供有效的辅助，并减少工业和日常辅助场景中的体力疲劳。外骨骼设计的关键挑战是确保佩戴舒适性和人 - 外骨骼协同运动的安全性。因此，步态生成、学习和规划应与人体生物力学特征一致 [3]。人类步态表现出节律性和周期性特征，同时根据不同的行走任务调整其频率和幅度 [4]。为了满足多样化的用户需求，受生物力学启发的步态学习和优化对于实现自然且舒适的人 - 外骨骼交互至关重要 [5]。

传统的外骨骼系统通常依赖于由反馈控制器跟踪的预定义步态轨迹。然而，此类轨迹在动态环境中缺乏适应性，无法有效响应用户的运动意图或外部干扰。例如，地形变化和操作者引起的干扰可能会显著降低佩戴舒适性和协同性能 [6]。此外，许多轨迹跟踪方法在同时保持步态节律性、平滑性和适应性方面能力有限，通常导致轨迹抖动和人 - 外骨骼交互阻抗增加 [7]。由于自然行走涉及多个关节之间的协调运动，轨迹生成方法应明确考虑关节间协调和步态自然性 [8], [9], [10]。

近年来，基于中枢模式发生器（CPG）的生物启发式步态生成方法引起了广泛关注 [11], [12]。CPG 通过耦合振荡器网络生成节律性运动模式，并可在不需要预定义运动廓线的情况下重现周期性步态轨迹 [13]。然而，传统的基于 CPG 的方法对动态环境的适应性有限，当用户意图或外部条件改变时，可能会产生具有突然过渡的轨迹 [14]。为了提高适应性，已采用导纳控制根据人 - 外骨骼交互力修改步态轨迹 [15]。此外，引入了动态运动基元（DMP）通过非线性运动学习机制来提高轨迹平滑性 [16]。然而，CPG、导纳控制和 DMP 单独使用无法同时保证节律性、适应性和平滑性。因此，最近的研究试图整合这些技术，以实现更自然和用户自适应的步态生成 [17], [18], [19]。

自适应动态规划（ADP）提供了一个有效的框架，用于在线解决非线性最优控制问题 [20]。与传统的动态规划 [21] 不同，ADP 不需要系统动态的完整先验知识，并可以通过基于神经网络的价值函数近似来处理模型不确定性 [22]。特别是，与演员 - 评论家结构相比，单评论家 ADP 架构显著降低了计算复杂性，同时保留了在线最优控制学习的能力 [23]。尽管 ADP 已被应用于外骨骼轨迹跟踪和优化 [24], [25]，但在统一框架内整合在线步态生成、步态优化和最优跟踪控制仍然探索不足。

为了进一步阐明所提方法相对于最近外骨骼控制器的位置，我们将其与下肢康复机器人中常用的几种代表性控制器家族进行了比较。包括 Twin Delayed Deep Deterministic Policy Gradient、Soft Actor-Critic 和 Proximal Policy Optimization [19], [24], [26] 在内的强化学习和无模型控制器很有吸引力，因为它们可以在充分的交互或离线训练后提供强大的个性化和适应性。然而，它们在可穿戴康复设备中的实际部署通常需要探索、大规模训练数据和具有安全意识的策略更新，而在线实施可能涉及策略推理以及额外的训练或适应开销。有限时间和滑模控制器 [23], [27], [28] 提供了明确的收敛性质和对不确定性的鲁棒性，但它们的性能通常对切换增益调整敏感，并且通常需要额外的平滑或边界层机制来抑制抖动并提高佩戴者舒适度。抗干扰和事件触发控制器 [1], [3], [29] 可以增强干扰衰减并减少通信或更新负担，但它们通常被设计用于跟踪规定的参考轨迹，而不是在线优化步态模式。

为了解决这些挑战，本文提出了一种用于下肢外骨骼的人机回路步态在线优化和最优跟踪框架。开发了一种 CPG-导纳 -DMP 架构，根据人 - 外骨骼交互力矩生成自适应和平顺的步态轨迹，同时保持步态周期性。随后，建立了时变步态轨迹的增广状态最优跟踪公式，并设计了一种单评论家 ADP 控制器来在线求解相关的哈密顿 - 雅可比 - 贝尔曼（HJB）方程。进行了广泛的仿真和实验，涉及三名健康受试者在不同行走模式下的表现，以验证所提出的框架。本工作的主要贡献总结如下：

1. 开发了一种用于人 - 外骨骼协同运动的分层在线步态优化框架。所提的外环步态优化模块整合了基于松冈振荡器的 CPG、导纳适应回路和 DMP 平滑机制。在此框架中，CPG 提供节律性步态表示，导纳回路根据人 - 外骨骼交互力矩修改参考轨迹，DMP 模块抑制轨迹抖动并提高运动平滑性。因此，生成的步态不是预定义的参考轨迹，而是一种同时考虑步态周期性、佩戴者意图和轨迹平滑性的在线优化轨迹。

2. 设计了一种用于优化轨迹实时步态跟踪的单评论家 ADP 控制器。与传统的演员 - 评论家 ADP 方法不同，所提控制器移除了演员网络，仅使用评论家网络来近似价值函数并生成控制策略。这种无演员结构降低了在线计算复杂性，并提高了可穿戴外骨骼系统的实时可实现性，同时保持了有界的跟踪性能。

3. 所提出的步态在线优化和控制方案通过 2 自由度下肢外骨骼进行了验证，在不同实验条件下，无论是快速还是慢速运动频率，都提高了人 - 外骨骼协同运动的安全性。

本研究的其余部分组织如下。第 2 节涵盖步态生成和在线优化的介绍。第 3 节介绍了 ADP 控制方法。4 数值验证，5 实验结果展示了数值验证和实验验证。最终，第 6 节提供了结论性评论。

章节片段
步态生成与在线优化
外骨骼在康复和动力辅助中发挥着重要作用，但在人 - 外骨骼协同运动中仍存在几项挑战，如下所示：
(1) 自然步态模仿：人类步态通常是具有不同幅值和频率的周期性运动，应被识别和学习。
(2) 佩戴舒适性能：人类意图领先于外骨骼运动，这会产生人 - 外骨骼阻抗并降低佩戴舒适性能。
(3) 协同运动

自适应动态规划控制
2 自由度下肢外骨骼由以下公式给出：
其中 $q$ 是关节位置，$\dot{q}$ 是速度，$\ddot{q}$ 是加速度。$M$ 是惯性矩阵，$C$ 是科里奥利和离心力矩阵，$G$ 是重力向量，$\tau$ 是控制输入，$d$ 涉及未知摩擦和模型不确定性。
外骨骼动力学 (8) 可转换为一般非线性形式，如下所示：
其中关节向量 $x$，
假设 1
(8) 中的不确定项 $d$ 满足 $|d| \le d_0$，其中 $d_0$ 是一个正常数。
事实上，假设 1 表示该

数值验证
为了验证所提方法的有效性，我们设计了不同平率运动下的步态优化数值仿真以及控制器精度验证。所有验证均基于 MATLAB 2024a 环境。
为了更准确地识别外骨骼参数，其动力学模型线性化如下：
其中 $Y$ 是动力学回归矩阵，$\theta$ 是要识别的参数矩阵，并且
$l_t$ 是外骨骼大腿长度，$g$ 是重力

实验结果
所提出的步态在线优化和 ADP 控制策略的有效性通过多模式人 - 外骨骼协同运动实验进行了验证。整体软件和硬件控制流程以及一个步态周期的运动细节如图 12 所示。外骨骼设备主要由 PC (Thinkpad-T490, i5-10210U CPU@1.60 GHz)、两个伺服电机 (GDM1-100N2/120N2)、一个 NI 控制器 (cRIO-9035-NI)、两个绝对编码器 (INC-4-150 和 INC-3-125) 和两个 3-D 组成

结论
在本研究中，基于多源数据融合，在人 - 外骨骼协同运动中使用了步态在线优化和 ADP 控制。首先，步态优化策略涉及 3 种技术：CPG、导纳回路和 DMP，它们分别解决了稳定周期性步态、操作者运动意图和平顺轨迹收敛问题。CPG 基于松冈振荡器生成参考轨迹，以确保自然的步态节律。然后

CRediT 作者贡献声明
曹远超：写作 – 初稿，方法论。寇嘉戈：写作 – 审阅与编辑，形式分析。王万奇：数据整理。陈振雷：方法论，调查。战浩然：验证。史燕：监督，资源。郭青：监督，概念化。

竞争利益声明
作者声明，他们没有已知的竞争财务利益或个人关系可能被认为影响了本论文报告的工作。

致谢
这项工作得到了国家自然科学基金 (52175046 和 52305054)、中国博士后科学基金 (2022M720024)、四川省科技计划 (2024YFFK0037 和 2024NSFSC1479) 以及中国国家科技重大专项 (2026AAA011656) 的支持。

曹远超于 2022 年获得中国西南交通大学工程力学学士学位。目前他是电子科技大学航空航天学院的博士研究生。他当前的研究兴趣包括非线性控制和机器人技术。

曹远超 | 寇嘉戈 | 王万奇 | 陈振雷 | 战浩然 | 史燕 | 郭青