面向物理人机协作的偏好引导相位条件残余导纳控制

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：Preference-guided phase-conditioned residual admittance control for physical human–robot collaboration

　　

• •
  针对物理人机协作（pHRC）提出了一种偏好引导的残余导纳控制器。
• •
  软相位置信度表示自由和约束交互情境。
• •
  一个校准的偏好奖励将演示与操作员排名联系起来。
• •
  行为克隆和双重经验回放缓冲区稳定了真实机器人SAC学习。

引言

随着工业5.0和柔性制造的发展，制造系统必须超越固定流程下的自动化效率，并在不断变化的工作环境中保留人类判断力和现场适应能力[1]。物理人机协作（pHRC）通过将人类认知决策与机器人精确执行、负载支持和柔顺响应相结合，为实现这一需求提供了实施路径[2], [3], [4]。为使这种协作从被动命令执行转向对人类行为的主动适应，机器人必须推断操作员意图，并在交互过程中持续调整其策略。同时，人类参与、物理接触和现场部署带来了行为变异性、交互安全性要求和工程约束[5], [6], [7]。

稳定、柔顺且可部署的交互控制通常基于导纳/阻抗控制。这些方法结构清晰，易于解释和部署，已广泛应用于人机交互中的力响应控制[8]。然而，在实际协作中，人类意图、接触条件和任务状态不断变化，固定参数往往无法满足不同的交互需求。因此，可变导纳和相位感知控制方法根据任务阶段或接触状态调整柔顺参数。关于协同钻孔和稳定可变导纳的研究表明，任务阶段和稳定性约束支持导纳调节[9], [10]，而关于人机角色仲裁和任务分配的研究表明，动态任务状态影响协作决策[11], [12]。用于协作装配的强化学习（RL）进一步利用相位结构来降低长时域任务的学习难度[13], [14]。这些研究表明，任务状态信息可以为柔顺控制提供有用的情境信息。尽管如此，许多方法仍依赖离散相位标签、规则切换或预设参数表，这些方法不足以表示状态边界附近的连续变化，并且难以覆盖操作员施力习惯和协作节奏的差异。

基于规则的参数也难以预先设计以覆盖操作员差异和真实平台上的协作质量偏好。因此，基于学习的柔顺控制已成为重要的数据驱动方法。力相关任务中的模型预测可变阻抗控制和逆强化学习（IRL）已证明了基于学习的参数调节的可行性[15], [16]。接触丰富的操作和工业人机协作中的机器人学习研究进一步表明，在真实平台上的强化学习必须同时解决样本效率、接触安全、重置成本和部署约束问题[17], [18]。关于智能制造和人在回路强化学习的机器人学习研究强调，在线学习必须考虑安全边界、人类反馈和系统可解释性[19], [20]。奖励建模仍然是这一过程中的薄弱环节。强化学习通常使用手工设计的加权奖励，但权重设置依赖于任务经验，无法完全表达操作员对施加力、平滑性和效率的偏好。关于从人类反馈中学习强化学习和基于偏好的强化学习的研究表明，人类比较信号可以转换为奖励模型或策略优化目标[21], [22]。从演示或观察中进行的逆强化学习也为处理不完美演示和质量排名提供了技术基础[23]。这些进展支持了偏好反馈驱动的柔顺控制，但真实平台部署仍需联合处理奖励可信度、任务状态输入和受限在线更新。

为解决这些问题，提出了一种偏好引导的相位条件残余导纳控制（PG-PCRAC）方法。该方法保留标称导纳作为基线控制器，允许学习策略在预设范围内调节阻尼残差。软相位置信度（SPC）表示当前交互状态，而演示质量校准的偏好奖励提供协作质量评估信号。贡献有三方面。首先，提出了一种演示质量校准的偏好奖励建模方法，通过演示片段之间的质量差异建立协作质量基线，并将该基线与操作员排名结合形成适用于在线更新的冻结偏好奖励（FPR）。其次，通过将SPC嵌入策略状态构建相位条件残余导纳策略，使阻尼残差随交互状态连续变化。第三，引入行为克隆（BC）初始化和双重复用缓冲区更新机制，使策略从受演示约束的残差邻域开始，并利用演示和在线经验稳定更新。

本文的其余部分组织如下。第2节回顾了可变导纳控制、真实平台强化学习、演示增强和偏好奖励学习的相关工作。第3节介绍了相位表示及其任务实例化、残余导纳动作和演示质量校准的偏好奖励。第4节介绍了PG-PCRAC算法。第5节通过真实平台实验评估性能、验证系统条件并分析机制。第6节总结全文并讨论未来工作。

章节摘要

可变导纳/可变阻抗和相位感知控制

导纳控制将人类交互力映射到机器人末端执行器运动，是pHRC中柔顺控制的常见形式。经典阻抗控制为交互式机器人的柔顺行为建立了力学基础[24]，而导纳控制将外力测量、运动命令和稳定性分析组织成可部署的工程结构。在接触任务中，自由空间透明性和约束接触稳定性通常对应于不同的

协作装配任务和偏好奖励建模

本节依次介绍后续策略学习所需的任务阶段表示、控制变量和奖励信号。首先，从物理协作中的自由运动和约束接触建立两阶段表示，并使用协作板材装配任务说明其具体映射。接下来，在标称导纳的基础上定义阻尼残差动作，以指定策略的调节目标。最后，一个

相位条件残余导纳控制算法

基于第3节中的相位表示、导纳残差和偏好奖励建模，本节介绍策略状态、相位条件输入、行为克隆初始化、双重复用缓冲区更新和在线自适应过程。图3总结了相位条件残余导纳控制中实时闭环、在线自适应和操作员信息更新之间的关系。

实验平台和任务场景

图4显示了协作实验平台。该平台由协作机器人、末端执行器力传感器和用于板材搬运与对齐任务的计算工作站组成。实验对象是一块尺寸为$1.0\times 1.0\times 0.03\mathrm{m}$的板材面板，质量约为20 kg。操作员通过末端执行器手柄传递引导意图，而机器人提供负载支持、柔顺响应和末端执行器运动执行。计算工作站配备

结论与未来工作

通过提出的PG-PCRAC框架解决了物理人机协作装配中的柔顺调节问题。该框架使用标称导纳控制器作为基线柔顺结构，通过冻结的演示质量校准偏好奖励表示协作质量，将两阶段SPC引入策略状态，并结合行为克隆初始化与双重复用缓冲区SAC学习阻尼残差。通过这种方式，它形成了导纳调节

CRediT作者贡献声明

Wenxuan Zhang: 写作 – 原稿, 验证, 方法学, 调查。 Yuxuan Guo: 验证, 正式分析, 数据管理。 Wenhan Gao: 软件, 正式分析。 Jinyue Liu: 监督, 项目管理, 概念化。 Tiejun Li: 监督, 资金获取, 概念化。 Xiaohui Jia: 写作 – 审阅与编辑, 方法学, 资金获取。

利益冲突声明

作者声明，他们没有已知的可能影响本文所报告工作的竞争经济利益或个人关系。

致谢

本工作受国家重点研发计划（资助号：2024YFC3811100）、国家自然科学基金（资助号：U24A6005）和河北工业大学交叉学科研究生项目（资助号：XKJC-2024031）资助。

Wenxuan Zhang|Yuxuan Guo|Wenhan Gao|Jinyue Liu|Tiejun Li|Xiaohui Jia