《Biomimetics》：Learning Humanoid Balance on an Unstable Support: Effects of Action Representation and Sensory Constraints
编辑推荐：
摘要：
在欠驱动不稳定支撑面上维持平衡的人形机器人，仅具备生物系统所依赖的局部、含噪机载信号。研究人员据此考察此类观测限制对学习控制器的代价。研究在摇摆板任务上，以近端策略优化（Proximal Policy Optimization, PPO）训练三类控制流
摘要：
在欠驱动不稳定支撑面上维持平衡的人形机器人，仅具备生物系统所依赖的局部、含噪机载信号。研究人员据此考察此类观测限制对学习控制器的代价。研究在摇摆板任务上，以近端策略优化（Proximal Policy Optimization, PPO）训练三类控制流水线：PD辅助逆运动学（Inverse Kinematics, IK）、纯IK与直接关节空间控制；分别置于特权仿真状态与仅机载可测观测下，并以随机种子作为重复实验单元。IK将期望足部位姿转换为实现该位姿的关节角，故前两类流水线指挥姿态，第三类直接指挥关节。在特权状态且取动作分布均值时，PD辅助IK完成78%的60 s试验，IK与关节空间分别为35%与34%；若仅限机载感知，PD辅助IK无一完成，另两类分别达82%与62%；若对动作进行采样，特权条件下的排序发生反转。在最轻噪声设定下，所有受限观测策略均零完成；而三类特权配置中两类不受影响甚至更优；仅一个控制步长的全输入延迟则使几乎所有配置几无完赛。研究因此不推荐单一流水线：应在策略实际运行的观测与动作选取规则下评估，并同时报告名义成功率及对噪声、延迟与模型误差的容忍度。
研究背景与问题提出
人形机器人在真实非结构化环境中需持续调节姿态以补偿扰动、非线性动力学与欠驱动接触耦合。传统基于模型的方法依赖精确动力学与人工调参；深度强化学习（Reinforcement Learning, RL）虽降低建模负担，却把设计负担转移到“策略在何处发声”。生物平衡系统仅依赖本体感觉（proprioception）、前庭与视觉等局部延迟含噪信号，且以协调的全身模式（踝策略、髋策略）组织响应。现有RL平衡研究多聚焦固定地面或完整仿真状态，少有在欠驱动支撑面上系统比较动作表征与观测可现实性之间交互的工作。
研究开展与核心结论
研究人员在GPU并行仿真中，使人形机器人站立于自由旋转的摇摆板（wobble board），以PPO训练三种完整控制流水线：PD辅助IK（策略调节姿态误差PD增益与混合权重）、IK（策略发足部位姿偏移）、关节空间控制（策略发关节角偏移），末端统一接位置伺服。观测分两类：特权观测（含全局位姿、速度、板状态）与受限本体感觉观测（仅IMU姿态/角速度/重力投影与关节编码器）。评估以固定种子生成30初值，多检查点、多种子池化，记录10 s与60 s完赛率及平均存活时间。结果表明：最优表征随观测条件与动作选取规则而变；受限观测下PD辅助IK失效，而IK与关节空间可平衡；但二者对传感器噪声与输入延迟几乎零容忍；模型失配中伺服刚度/阻尼最敏感。意义在于提醒社区：平衡控制器不能只报名义成功率，须在目标部署观测、噪声、延迟与植物误差下联合评测。
主要关键技术方法
研究采用PPO算法，策略与价值网络共享全连接三层 trunks（400-200-100，ELU激活），对角高斯动作分布，确定性取均值评估。仿真以100 Hz控制率、4096并行环境、最大6000步（60 s）情节，奖励由姿态、质心位移、足部位移与板倾角的指数项平均构成，终止条件含倾角越界、板触地、躯干/足部大位移。三种动作表征共享低通滤波与关节位置伺服，差异在指令抽象层：PD辅助IK嵌固定姿态反馈级，IK经任务空间位姿解算，关节空间直驱14个主动关节。观测分特权与受限两模式；鲁棒性测试引入传感器偏置与高斯噪声、编码器量化、整输入延迟，以及质量/摩擦/滚轮半径/伺服增益的单因子扰动。无域随机化，初值仅随机化平面放置。
研究结果
5.1 基线PD控制器性能
以训练后PD辅助IK策略增益时间均值构建固定增益PD基线。结果显示该基线在标称条件下无60 s完赛，平均存活低于1 s，说明冻结增益调度本身不足以在欠驱动板上维持平衡。
5.2 强化学习性能
在特权观测下三者皆学成，PD辅助IK收敛较缓但60 s完赛率最高（78%）；受限观测下PD辅助IK完全失败，IK与关节空间分别82%与62%。动作由采样而非均值选取时，特权下关节空间由34%升至86%，排序反转，证明动作选取规则是评测必要变量。
5.3 动作表征结构效应
比较不同训练预算：3000迭代下受限观测IK由55%升至82%、关节空间由14%升至62%；特权下IK反由97%降至35%。说明单预算比较混杂了收敛速度与可达性能，且“撤回信息有帮助”属误读——两观测集对应独立训练策略，非同一策略删输入。
5.4 对初始板姿态扰动鲁棒性
早期补充实验显示，随初始横滚/俯仰角增大，两存活表征性能下降，横滚轴更难；但该协议与主线评估不完全同构，仅作趋势参考。
5.5 传感器噪声与策略输入延迟
在受限策略上施加姿态/陀螺/编码器联合噪声：最轻一级即令IK由82%跌至0%、关节空间由62%跌至0%；特权策略间差异大，PD辅助IK同样归零。整输入延迟一个控制步（10 ms）几乎清空所有配置完赛率。表明未做噪声/延迟建模的策略，在真实部署观测下鲁棒边际近零。
5.5（续）模型失配鲁棒性
单因子扫描显示：地面摩擦在测试区间内几乎无影响；滚轮半径与接触几何变化较平缓；质量误配20%已损失约半完赛率；关节刚度降25%使IK由82%跌至6%、关节空间至0%，阻尼同理。伺服增益是仿真植物中最关键识别参数。
5.7 扰动下姿态协调
对平衡中机体施加水平冲量，按踝/髋与平面累计关节绝对力矩活动。研究发现两类可用信号对“物理关节贡献”的解释不一致，故仅作探索性描述，不把活动划分归因于表征或任务。
讨论与结论翻译
讨论指出，成功与否不揭示“如何平衡”；动作表征排名不稳定，受观测、动作规则、训练预算共同影响。最清晰工程缺口在训练侧：未引入传感噪声、延迟与域随机化，使受限观测策略真实迁移边际极低；系统辨识应优先投入关节伺服刚度与阻尼。
结论：在欠驱动不稳定支撑上，不存在普适最优动作表征。评价学习平衡控制器须在其真实运行观测与动作选择条件下进行，并同时报告名义成功率及对噪声、延迟与植物模型误差的容忍度；IK与关节空间在受限本体感觉下可维持平衡，但需配合感知噪声与延迟的训练期建模，否则不足以部署。
接下来你更想先看论文的评审意见、创新点提炼，还是实验改进建议？
