编辑推荐：
为应对零重力下固定基座空间机械臂工具转移中高维协调与严格物理约束的挑战，本文提出了一种偏好条件安全强化学习算法，称为αPPO-LAG（α-Preference Proximal Policy Optimization with Lagrangian）。该算法引
为应对零重力下固定基座空间机械臂工具转移中高维协调与严格物理约束的挑战，本文提出了一种偏好条件安全强化学习算法，称为αPPO-LAG（α-Preference Proximal Policy Optimization with Lagrangian）。该算法引入偏好因子α，通过约束感知策略优化（constraint-aware policy optimization）调节任务性能与物理安全之间的权衡。同时，基于约束估计开发了自适应拉格朗日调节机制（adaptive Lagrangian regulation mechanism），以提升训练过程中的安全满意度。实验结果表明，当α=0.5时，所提方法平均奖励达990，优于PPO-LAG（881）和CPO（915）。此外，αPPO-LAG安全得分为0.935，同时将接触力违反率（contact-force violation rate）降低至1.0%，并保持末端速度违反率（end-effector velocity violation rate）为10.0%。经验安全-性能分析揭示了不同安全偏好下的有效工作点，为零重力环境下安全、柔顺的固定基座工具转移提供了实用解决方案。
**论文解读：基于αPPO-LAG的空间机械臂柔顺转移方法**
**研究背景与问题**
在空间站与深空探测任务中，空间机械臂作为在轨服务与舱外操作的关键执行单元，承担设备装配、目标捕获及物料转移等任务。其中，工具转移操作（如宇航员与机械臂间或机械臂间的物体交接）因涉及连续接触与柔顺交互，被视为最具挑战性的环节之一。与常规抓取和操纵任务不同，工具转移对末端执行器速度（end-effector velocity）和接触力（contact force）有着严格的约束：在零重力（zero-gravity）且固定基座（fixed-base）的设定下，过高的末端速度或接触冲击可能导致工具漂移、碰撞甚至意外分离，直接威胁宇航员安全与设备可靠性。因此，转移策略不仅需要精确的运动规划，还必须满足“低速度-低冲击”的安全约束。
现有研究在动力学建模与经典控制、任务规划与多阶段序列优化、高维策略学习及生成模型等方面取得了显著进展，但存在以下局限：缺乏适用于零重力接触过程的显式约束模型，对接触冲击和工具漂移等特定现象关注不足；强化学习策略缺乏有效机制约束接触力与末端速度，训练中高频出现高冲击动作，无法满足空间任务安全要求；高自由度机械臂的大动作空间加剧了安全强化学习的稳定性问题，现有算法难以直接迁移至工具转移任务；在高保真物理引擎中缺乏系统性的安全策略验证。为此，研究人员提出了一种基于偏好条件安全强化学习的柔顺转移方法。
**主要技术与方法**
研究人员将固定基座零重力工具转移任务建模为约束马尔可夫决策过程（Constrained Markov Decision Process, CMDP），显式设定接触力与末端速度约束。关键方法包括：引入偏好因子α，通过端点保留S形映射（endpoint-preserving S-shaped mapping）联合参数化有效约束预算（effective constraint budget）和对偶更新增益（dual-update gain）；采用基于指数移动平均（Exponential Moving Average, EMA）的自适应比例-积分-微分（Proportional-Integral-Derivative, PID）对偶更新机制；在策略优化目标中加入增强惩罚项（augmented Lagrangian penalty）。所有仿真在Genesis物理引擎中进行，使用64个并行环境，观测空间44维，动作空间26维。
**研究结果**
（1）**Training Results**：通过五种子独立训练比较，αPPO-LAG（α=0.5）平均评估奖励达990，优于PPO-LAG的881和CPO的915；安全得分0.935，接触力违反率（CVR）为1.0%，末端速度违反率为10.0%，表明该方法在任务奖励与物理约束之间实现了更平衡的调节。
（2）**Ablation Study**：消融实验移除四个主要组件（偏好调度器、S形增益调制、自适应拉格朗日调节、直接约束集成）。移除自适应拉格朗日调节导致性能下降最大（奖励降至930，接触力CVR升至4.4%，速度CVR升至15.0%），证明其对抑制持续违反至关重要；其他组件移除同样削弱了安全-性能平衡。
（3）**Effect of the Preference Parameter**：在固定检查点（2500训练迭代）评估不同α值（0.1, 0.5, 0.9），α=0.5策略获得最高成功率97%和平均奖励1052，而α=0.1更偏向性能，α=0.9更保守。α=0.5被选为平衡工作点。
（4）**Empirical Safety–Performance Trade-Off**：通过独立训练α从0.1至0.9的策略，绘制经验安全-性能前沿。α=0.5策略位于PPO-LAG和CPO基线的右上方，表明其在评估协议下同时实现了更高奖励和更高聚合安全满意度。
（5）**Task Execution Analysis**：代表性成功滚动中，末端速度始终低于0.1 m/s，接触力低于3 N，均未超过严格物理极限。关节位置命令显示初始重构瞬态后趋于平稳，无高频振荡，验证了在位置伺服系统中的可行执行。
**讨论与结论**
讨论部分指出，实验结果与偏好因子机制一致：较小的α放宽训练预算并降低对偶更新增益，产生更偏向性能的策略；较大的α则导致更保守的策略。消融实验支持各组件组合的有效性。代表性滚动提供了聚合统计的时间解释，但并非正式闭环安全保证。局限性包括：当前环境为固定基座零重力，未建模自由浮动航天器-机械臂耦合姿态动力学；实验仅在Genesis仿真中进行，未考虑传感器噪声、通信延迟、执行器饱和等硬件不确定性；偏好因子在每次训练中固定，未在线自适应；约束满足通过有限滚动和违反统计经验评估，未提供形式化不变性保证。
研究结论翻译如下：本文提出了PPO-LAG，一种偏好条件安全强化学习框架，用于固定基座零重力锤子工具转移。任务被建模为具有显式接触力和末端速度约束的约束马尔可夫决策过程（CMDP）。偏好因子α通过端点保持S形映射联合参数化有效约束预算和对偶更新增益。在PPO中集成了增强惩罚和基于EMA的自适应乘子更新，以在训练中调节采样的物理违反。在五种子的比较中，所提方法平均奖励990，超过PPO-LAG（881）和CPO（915）；安全得分0.935，接触力违反率1.0%，末端速度违反率10.0%。在独立的固定检查点偏好评估中，α=0.5策略达到97%成功率。消融研究进一步表明，自适应拉格朗日调节、偏好条件预算调度、S形增益调制和直接约束集成均对最终性能有贡献。不同α值训练的策略形成了经验安全-性能折衷前沿。对于本任务，α=0.5提供了回合奖励、任务成功与聚合约束满足之间的偏好折衷。这些发现支持偏好条件安全强化学习用于高维接触丰富操纵。在应用于实际在轨操作前，需在自由浮动动力学和物理机器人系统上进一步验证。
