《Biomimetics》：Value-Gradient Generalist Design of Muscle–Tendon Parameters for Cross-Terrain Musculoskeletal Locomotion
编辑推荐：
摘要翻译：
柔顺的肌肉–肌腱力学特性可以改善肌肉骨骼机器人的地形适应能力，但异质地形的合规性、推进力、足部离地间隙与支撑转移之间存在相互冲突的要求。本文提出了值-梯度通才设计（Value-Gradient Generalist Design, VGGD）框架，
摘要翻译：
柔顺的肌肉–肌腱力学特性可以改善肌肉骨骼机器人的地形适应能力，但异质地形的合规性、推进力、足部离地间隙与支撑转移之间存在相互冲突的要求。本文提出了值-梯度通才设计（Value-Gradient Generalist Design, VGGD）框架，用于在保持骨骼拓扑和肌肉走行不变的前提下，选择一组固定的生理性肌肉–肌腱参数化方案以实现跨地形运动。VGGD在紧凑的基于主成分分析（PCA）的流形上进行搜索，该流形协调了肌肉力量、收缩速度能力和被动弹性响应的有界缩放因子。研究人员从采样的潜在设计中学习一个设计-与地形-条件化的价值代理，并在软-最坏目标下通过近邻正则化的投影值-梯度上升对其进行优化。独立的代理验证使用了50个仅用于校准的随机设计，以及100个单独采样且不参与拟合和阶段B优化的测试设计。在100个设计的测试集上，代理与平均跨地形回报呈正一致性（Pearson相关系数，Spearman等级相关系数），与最差地形回报也呈正一致性（Pearson相关系数，Spearman等级相关系数），所有自助法置信区间均高于零，且经Holm校正的置换检验p值显著。另一项独立的配对局部方向检验使用了60个此前未使用的评估种子和相等的可行空间扰动半径；在名义设计、中点设计和选定设计处，代理梯度方向与平均及逐种子的最差地形卷回报的改善方向一致。设计选定后，肌肉–肌腱参数被固定，并训练一个地形感知控制器，该控制器采用变分信息瓶颈正则化和辅助专家蒸馏。基于检查点的解析评估记录显示，完整流程在300次试验中成功216次，总体平均行进距离为12.14 m，而名义身体的PPO在300次试验中仅成功57次，平均行进距离为6.20 m。三个检查点的成功率分别为84%、78%和54%（Proposed方法），PPO则为49%、0%和8%；精确的双侧策略级置换检验得出成功率p值和平均距离p值。所有方法在每次训练运行中均获得相同的名义1亿步最终控制器预算，而1000万步的阶段A预算和专家预训练成本则另行报告。
论文解读：
**一、研究背景与问题**
生物运动源于神经指令与柔顺肌肉骨骼身体的相互作用。肌肉骨骼机器人通过冗余的肌肉激励、非线性肌肉–肌腱动力学、柔顺传动、肌腱弹性及被动身体力学来产生运动，这些属性使身体能够直接参与冲击吸收、弹性能量交换、分布式驱动和接触适应。然而，正是这些特性使得运动学习更加困难——性能不仅取决于控制策略，还取决于肌肉–肌腱系统的生理参数化。
现有基于学习的框架在策略优化过程中要么固定生理肌肉–肌腱参数，要么针对特定任务或地形将其与控制器联合调整。这种耦合会将学习到的身体参数绑定到特定地形的奖励、接触模式和控制策略上。因此，适合平地行走的参数配置可能无法为粗糙接触提供足够的柔顺性、为丘陵地形提供持续的推进力，或为楼梯穿越提供足够的足部离地和支撑转移。当同一肌肉骨骼智能体必须穿越异质地形时，这一局限性更加突出。若为不同地形分别优化肌肉–肌腱参数化方案，虽然可以提升任务特定性能，但会增加训练成本、要求地形依赖的身体参数切换，并在地形条件连续变化时可能失效。对于仿生机器人而言，地形依赖的身体参数切换同样不可取——物理身体应保持固定，由控制器适应环境变化。
**二、研究概述与结论**
针对上述问题，研究人员提出了值-梯度通才设计（Value-Gradient Generalist Design，VGGD）框架，在训练地形感知控制器之前，先为一个固定身体选择一组通用肌肉–肌腱参数化方案。该研究在MyoSuite中构建了一个包含平地、粗糙、丘陵、楼梯和混合地形的异质地貌运动环境，并在此环境下对VGGD框架进行了三层次评估：设计搜索代理的独立验证、跨地形任务性能的系统级比较、步态级别的生物力学分析。
研究得出以下核心结论：在100个独立随机设计上，冻结的价值代理与平均和最差地形卷回报均呈现正向且具有统计学显著性的相关性；配对等距局部方向测试表明，代理梯度方向在名义设计、中点设计和选定设计三个锚点处均与模拟器回报改善方向一致；完整VGGD流程在300次试验中实现216次成功和12.14 m的平均行进距离，均显著高于名义身体的PPO基线。这一成果表明，通过价值引导的代理搜索，可以在不改变骨骼拓扑和肌肉走行的前提下，选择出一组能够支撑跨异质地形的固定肌肉–肌腱参数化方案，实现“一个身体、一个策略”的跨地形运动。该论文发表于《Biomimetics》。
**三、关键技术方法概述**
本研究采用的主要技术方法包括：第一，基于主成分分析（PCA）的紧凑生理设计流形构建——通过对探索运动下的肌肉–肌腱动态长度响应轨迹进行PCA分析，获得K个主导功能模式，形成分组的低维潜在设计空间，避免独立逐肌肉扰动的碎片化问题；第二，设计-与地形-条件化价值代理学习（阶段A）——在采样的潜在设计和地形组合上训练一个共享的策略和价值批判网络，为候选设计在不同地形下评分；第三，投影值-梯度搜索（阶段B）——冻结价值代理，通过软-最坏目标聚合各地形得分，加入二次近邻正则化项以防止偏离名义设计过远，采用带梯度裁剪的Adam更新和投影操作在潜在域内搜索最优设计。阶段C在选定身体上训练地形感知控制器，采用PPO算法、变分信息瓶颈（VIB）正则化和辅助专家蒸馏。样本队列来源为MyoSuite MyoLeg模型，含80个肌肉激励。
**四、实验结果**
**4.1 实验设置**。实验在MyoSuite MyoLeg模型上进行，含80个肌肉激励。原始评估地形为平地、粗糙、丘陵和楼梯；混合地形将原始路段拼接为约26 m的较长异构路线。主比较以到达每个地形上13 m评估目标为成功标准。
**4.2 独立保留价值-代理验证**。研究人员固定了三组不相交的候选设计：50个仅用于拟合仿射映射的均匀采样设计、100个用于主测试的独立采样随机设计、32个用于邻域分析的可行局部设计。在100个保留设计上，代理对聚合目标和全部四个地形均呈正向相关性，置信区间均高于零。校准后平均回报斜率为1.021、最差地形回报斜率为1.033，平均观测-预测误差分别为0.027和0.042。
**4.3 配对局部代理-梯度方向验证**。在名义设计、中点和选定设计三个锚点处，采用60个此前未使用的评估种子和相等可行空间扰动半径进行配对方向测试。在每一锚点处，代理得分和全部三个卷回报对比均为正值，所有配对自助法区间不包含零。地形特定的正向减负向差异在全部四个地形上均为正且区间不包含零。
**4.4 对比方法与指标**。主比较包含四个受约束的实现：Proposed（完整VGGD流程）、PPO（名义身体上的仅控制器基线）、T2A（固定输出的Transform2Act风格实现）、SDE（使用相同的紧凑PCA生理流形但不含VGGD软-最坏值梯度选择目标）。
**4.5 与PPO、T2A和SDE的任务级比较**。完整Proposed流程保留最高观测通过率（216/300，72.0%）和总体平均距离（12.14 m），名义身体PPO为57/300（19.0%）和6.20 m。T2A记录0/300成功，SDE记录5/300（1.7%）。三个Proposed检查点分别达到84、78和54次成功，PPO检查点分别为49、0和8次。策略级精确置换检验得出成功率的p值和平均距离的p值。
**4.6 消融研究**。PPO+VIB+Distill保持名义身体并使用与Proposed相同的地形图、VIB和专家蒸馏机制，获得4/100精确成功和1.58 m平均距离；VGGD+Distill移除VIB但保留选定身体和蒸馏，获得67/100成功和12.35 m平均距离；两个SDE单策略对照均获得0/100成功。
**4.7 混合地形生物力学比较**。跨方法轨迹被保留为说明性而非推断性示例。单独的Proposed多种子步态稳健性分析基于两个独立训练检查点和每个地形20个共同评估种子（每地形40次卷）。结果显示楼梯地形产生最短平均步长，粗糙地形产生最大平均双支撑比例，丘陵和楼梯地形产生最大骨盆高度变化。
**五、讨论与结论**
讨论部分指出：检查点解析的评估文件保留了原始聚合距离均值，同时将平均和舍入的通过计数替换为精确观测。完整流程记录216/300成功卷（72.0%）和12.14 m平均距离；名义身体PPO为57/300和6.20 m。独立价值代理实验移除了早期全候选诊断的选择偏差。配对等距实验提供更直接的定向检验证据。执行器参数是有界模拟器乘子，与力容量、收缩速度和被动响应的关联具有机械可解释性，但边界并非特定于个体的生理范围。混合地形步态面板保留原始选定示例，因未按单一对称总体规则采样，故不用于方法排序。
结论部分为：本文提出了VGGD，一个在跨地形控制器学习之前选择单一固定肌肉–肌腱参数化方案的代理引导框架。在100个随机设计上的独立测试显示冻结代理与平均、最差地形及地形特定卷回报之间具有中等且统计学显著的一致性。配对局部方向验证使用相等可行空间扰动半径和60个此前未使用的配对评估种子，在名义、中点和选定设计处确认代理方向与平均和最差地形卷回报改善方向一致。在平地、粗糙、丘陵、楼梯和混合地形上，完整流程保留72.0%的合并通过率和12.14 m的平均距离，解析为216/300观测成功；名义身体PPO保留19.0%和6.20 m，解析为57/300成功。最后指出，未来工作将扩展设计空间并在物理肌肉骨骼平台上评估所得的形态-控制配置。
