基于直接神经动态规划（DNDP）的模拟假肢腿膝-踝关节步态轨迹跟踪动作-评价自适应最优控制

《Mathematics》：Direct Neural Dynamic Programming Adaptive Control of Knee and Ankle Joints in a Simulated Prosthetic Leg Model

　　

假肢腿的有效控制对于恢复自然运动能力和提高截肢者生活质量至关重要。该研究提出一种直接神经动态规划（Direct Neural Dynamic Programming, DNDP）算法，该算法利用耦合的动作网络与评价网络（action and critic neural networks）求解假肢步态轨迹跟踪的最优控制问题。通过持续学习并适应个体步态模式，DNDP动作网络生成膝关节与踝关节的控制量以降低步态跟踪误差。所提方法能够在无需依赖精确系统模型的条件下实现控制策略的实时优化，并对受试者个体动力学（subject-specific dynamics）及变化条件具有适应性。

研究背景：下肢假肢控制对恢复截肢者自然运动能力和提高生活质量至关重要。现有问题包括步态模式个体差异大、地面反作用力与地形倾斜变化导致难以仅凭测量预测当前步态；商用假肢能力仍有限；比例-微分（PD）等基于模型方法依赖精确模型，受试者间或时间参数变化会导致步态次优；固定步态模式缺乏个性化适应；深度强化学习虽适应性强，但训练负担重、样本效率低、稳定性不确定；部分自适应力控或单网络自适应动态规划需要模型知识或干扰观测器；先进优化轨迹生成计算密集，可能难实时。为此，研究人员提出直接神经动态规划（Direct Neural Dynamic Programming, DNDP，一种基于动作-评价网络的无模型自适应最优控制方法），以在线学习优化步态轨迹跟踪的即时与长期目标。

研究开展与结论：研究人员建立模拟下肢假肢腿的Lagrange动力学模型，模型含髋、膝、踝旋转自由度（分别记为 θ₁、θ₂、θ₃），髋关节由预定义Fourier轨迹、逆运动学前馈与PD反馈调节，DNDP仅自适应生成膝、踝关节力矩。动作网络根据当前运动状态输出控制，评价网络近似最优代价-to-go；通过最小化Bellman误差在线更新动作与评价网络权重。理论稳定性分析采用复合Lyapunov函数，给出保证闭环稳定的学习率上界，Adam更新与检查点回拉可对应自适应律和正则项。研究结论表明，DNDP可在无精确系统模型条件下实时优化控制策略，适应个体步态与变化条件；仿真验证闭环信号有界，关节跟踪改善，但未声称Bellman残差消失或达到最优控制。其意义在于为假肢腿膝与踝关节提供可在线个性化、无需模型的扩展控制框架。

关键技术方法：研究采用Lagrange力学建立模拟假肢腿动力学；仅膝、踝关节由DNDP自适应控制。DNDP由动作网络和评价网络组成，动作网络为含两个隐藏层和线性输出层的前馈网络，评价网络为两层网络且输入包含动作信号；以Bellman残差和Adam在线更新权重，采用饱和PD初始化、高斯扰动、探索噪声和定期检查点回拉。仿真在MATLAB 2020b中进行，用四阶Runge–Kutta（RK4）积分，参考步态由Fourier展开生成，运行1000个步态周期、约987000步。该研究为数值仿真，无物理传感器、状态观测器或硬件在环，亦无样本队列来源。

研究结果：
5.1 实验设置：研究人员在MATLAB 2020b中实现假肢腿模型，以RK4数值求解，在每个积分步用DNDP计算膝与踝力矩；参考轨迹基于步态研究用Fourier展开生成；执行1000个步态周期。结论是本研究严格为数值仿真，关节角和角速度直接来自动力学积分，不使用物理传感器、状态观测器或硬件在环。

5.2 适应动力学：研究人员以最后100个步态周期标准差相对全程变化建立收敛判据。踝动作网络成本快速下降并最终较初始降低超过四个数量级（>10⁴）；膝动作网络成本从约5.5降至约3.2，适应弱于踝。踝评价网络Bellman误差初期波动后稳定，膝评价网络保持更低误差。动作与评价网络权重范数满足收敛判据；踝评价输出层权重显著下降，第一隐藏层权重先升后降，膝评价第一隐藏层为最慢稳定元素。结论是两关节适应不对称，踝动作网络适应更强，膝评价网络残差更小，研究人员将差异归因于踝受地面接触扰动更大。

5.3 步态动力学：通过比较初始、最终轨迹与参考的关节角、角速度和力矩，踝角与膝角在峰值和最小值附近对齐，平台或过渡阶段存在小差异，最终轨迹较初始更接近参考；踝、膝角速度在快速变化和中间站立期有差异，最终更平滑；踝、膝力矩峰值变化，膝负峰减小、正峰升高，最终力矩更平稳。结论是在线学习改善跟踪并使力矩命令更稳定，但力矩为单周期快照，不声称与跟踪误差存在因果联系。

5.4 反映Lagrangian动力学的实验模式：通过力矩时程与推离、站立、摆动等步态相位比较，学习力矩不是跟踪误差的简单缩放，而呈相位特异性峰谷；在快速屈伸时出现更高、定时力矩脉冲，慢或稳定相更平滑低幅；膝运动变化时膝与踝力矩共同调制，与关节间耦合一致。结论是数据支持动态补偿的适应趋势，但不声称网络已分解出惯性、重力或耦合项，也不声称识别出被动动力学主导阶段。

5.5 敏感性分析：通过改变体重和髋长评估闭环性能。体重增减使误差范数略增，膝误差接近名义值；髋长减少1 cm降低膝、踝误差，控制器无需修改仍能再现参考步态。结论是控制器对给定机械参数变化具有稳健性。

5.6 在线适应贡献归因：通过将动作网络冻结在初始化并禁用扰动与探索，重复1000周期方案，与DNDP比较。DNDP相对冻结PD初始化在踝角速度和膝角度有显著改善，在踝角和膝角速度改善较边际。结论是性能提升可部分归因于在线适应而非仅稳定控制律。

讨论与结论翻译：讨论指出两关节适应明显不对称，膝评价残差约为踝残差的三分之一，踝受地面接触扰动更大；改进支持在线适应，但不声称Bellman残差消失或达到最优，也不声称学习网络分解Lagrangian项；敏感性分析显示对中等机械参数变化稳健；对照冻结PD显示部分指标显著改善、部分边际。结论部分翻译：经典膝上截肢假肢控制方法在一定程度上受限于对预定义数学模型和针对个体偏好手动微调的依赖。然而，人类运动是复杂且不确定的现象，需要更具适应性的解决方案。所提出的自适应神经网络设计通过将自动微调能力嵌入控制策略来应对这一挑战。通过在线更新网络权重以最佳拟合行走行为——无论是非截肢受试者的行为还是匹配健康肢体的运动——系统能够适应个体差异和变化条件。另一方面，所提出的控制设计应被理解为现有经典控制方法的扩展，因为自适应神经控制器的主要目标是逐步改进由基本控制回路计算出的现有控制动作，通过学习个体截肢者的特定运动行为。该方法的关键优势在于其能够从随时间积累的数据中提取知识。这一特征使假肢控制系统能够基于用户独特步态模式和偏好持续改进并个性化其性能。未来研究可聚焦于探索不同控制器架构及其在具有额外自由度的更复杂假肢设计中的应用，纳入实时环境感知以实现自适应地形导航，并探索用户意图识别集成以实现更直观控制。此外，对该系统实际实施的长期研究可为提高截肢者生活质量的有效性及其在康复机器人中更广泛应用潜力提供有价值见解。