作为一种用于机器人拆卸的执行技能基础方法——在接触不确定性条件下实现安全意识的技能增强

《JOURNAL OF MANUFACTURING SYSTEMS》：Twist-pull as an execution skill primitive for robotic disassembly: Safety-aware skill augmentation under contact uncertainty

　　岳藏|徐晓珍|张永全|张帆|邓伍鹏|阿米尔·M·哈吉亚万德|王永景
伯明翰大学工程学院，英国伯明翰B15 2TT

**摘要**
在机器人拆卸过程中，结构变化和隐藏的接触相互作用阻碍了传统的针对特定任务的控制和学习范式。本文将“扭转-拉伸”（TP）定义为一种基本的执行技能原语，这是一种支持多种拆卸操作的通用交互模式，并提出了一种考虑安全性的技能增强框架。与特定对象的策略学习不同，该方法通过强化学习（RL）来增强该原语的适应性基线，以适应未建模的接触动态。为了确保安全探索，该框架整合了用于速度稳定的安全策略（SP），并采用了结构化的观察-行动架构。通过明确分离平面运动调节和轴向适应性调节，这种架构约束防止了在策略优化过程中出现不安全的力-运动耦合。通过对结构不同的组件、扳手类型配置和真实世界产品的实验验证，表明增强TP原语显著提升了执行的鲁棒性和泛化能力，为富含接触的拆卸自动化奠定了可扩展的基础。

**1. 引言**
随着对循环制造、再制造和产品寿命终结处理的日益增长的需求，机器人拆卸已成为现代制造系统中越来越重要的组成部分[1] [2]。尽管在拆卸规划和感知方面取得了显著进展，但其实际应用仍受限于执行富含接触的操作，机器人必须与不确定、可变形且部分未知的组件进行物理交互[3]。在这些情况下，故障很少由任务顺序错误或对象识别不当引起，而是因为无法在不可预测的接触条件下管理强力交互[4]。这些交互动态在任务规划或几何模型层面并未得到明确表示，而是通过传感器控制映射实现的，即通过机器人的执行技能实现的[5]。从执行技能的角度来看，富含接触的拆卸可以抽象为重复执行交互原语，这些原语通过不同的传感器控制函数实现。其中，“扭转-拉伸”（TP）是一个突出的原语，它将轴向提取与旋转运动结合使用，以克服摩擦、干扰或机械锁住引起的阻力[6] [7]。这种原语支持广泛的拆卸操作，包括螺栓-螺母分离、盖子拆卸、压入式提取和卡扣式释放[8]，如图1所示。将TP定义为一种通用的执行技能原语，可以在统一的执行框架内处理这些结构不同的任务，而无需使用单独的特定任务控制器[9]。

**下载：** 下载高分辨率图片（70KB）
**下载：** 下载全尺寸图片

**图1. 机器人TP拆卸的任务。**

值得注意的是，在机器人操控文献中，“原语”一词具有不同的含义，涵盖了运动生成、控制策略和任务级行为。在富含接触的拆卸背景下，执行和交互层面的抽象尤为重要，因为主要不确定性来源于物理接触的演变，而不是几何运动规格。因此，本研究考虑的原语是执行过程中的力-运动交互。为了清晰起见，表1总结了机器人操控中“原语”一词的常见解释。

**表1. 机器人操控文献中“原语”一词的常见解释。**
| 原语概念 | 抽象层次 | 核心焦点 | 典型表示 |
|--------|--------|--------|---------|
| 运动原语 [10] | 运动/运动学层面 | 生成可重复的运动 | 轨迹模板、动态系统 |
| 操作原语 [5] | 任务执行层面 | 操作的语义单元 | 结构化技能（抓取、插入、旋转） |
| 混合力-运动原语 [11] | 控制层面 | 在接触下调节力和运动 | 混合控制器、适应性定律 |
| 交互/接触原语 [3] | 交互层面 | 接触过程中的力-运动演变 | 阻抗、交互模式 |
| 任务特定学习原语 [12] | 策略层面 | 解决特定任务或机制 | 学习到的策略或控制器 |

**TP拆卸中的一个关键难点是，控制分离的力来源于隐藏的内部接触，而不是直接可见的几何形状。虽然基于视觉的传感可以捕捉到零件的外部形状和姿态，但它提供的关于摩擦锁定、局部干扰或提取过程中产生的扭矩积累的信息很少[3]。这些隐藏的相互作用还受到执行不确定性的影响，例如抓取不对中 и 适应性引起的变形，这些都会扭曲力-扭矩测量并导致接触响应的巨大变化[13]。因此，TP执行必须根据交互反馈不断调整，而不能仅基于几何模型预先确定。**

现有的方法通过适应性控制、基于规则的策略或基于学习的适应来提高富含接触操作的鲁棒性[11] [14] [15] [16]。然而，这些方法通常针对特定机制、操作条件或产品系列进行定制，并且通常作为独立的任务级控制器实现[17]。因此，在特定拆卸场景中取得的优化成果通常无法推广到其他场景，即使潜在的交互动态相似。因此，一种更可扩展的策略是增强TP原语本身的能力，使单一交互技能能够适应更广泛的接触条件和结构变化。**

基于这一观点，本文研究了如何在不确定和不断变化的接触相互作用下增强TP执行。一种适应性TP执行策略提供了一个物理上可靠的技能基线，能够容忍有限的不对中和结构变化。然后引入强化学习（RL）作为增强机制，扩展这一基线的操作范围，使原语能够通过交互经验适应显著的不对中和复杂的接触行为。为了保证操作安全性，该框架整合了安全策略（SP）和结构化的观察-行动架构，明确分离了运动调节和适应性调节，确保机器人探索高效的策略而不引起不安全的交互动态。**

**本文的主要贡献如下：**
1) 将TP定义为一种富含接触的执行技能原语，它可以捕捉超出单个产品几何形状的重复拆卸交互类别。
2) 开发了一种考虑安全性的框架，通过与接触交互的学习来增强TP技能的执行。
3) 该方案在具有不同内部结构、扳手类型配置和真实世界工业产品的机器人拆卸平台上进行了验证，展示了卓越的适应性和鲁棒性。

**本文的其余部分组织如下。** 第2节回顾相关工作。第3节分析TP拆卸的物理特性和不对中的影响。第4节介绍TP技能增强的框架。第5节报告了在结构化和真实世界拆卸案例中的实验评估。第6节讨论了对制造系统的意义和限制，第7节总结了本文。

**2. 相关工作**
**2.1. 富含接触的机器人拆卸技能**
机器人拆卸涉及复杂的执行过程，机器人必须在不确定且往往难以观测的接触条件下与组件交互。早期的机器人技能主要是作为简单操控任务（如拾取和处理）的预编程运动序列实现的，依赖于精确校准和结构化环境，而不是适应性[5]。随着拆卸操作越来越多地涉及强力交互，这些方法变得不够适用。**

对于拆解和提取等富含接触的操作，已经引入了基于搜索的策略来补偿位置不确定性[17]。虽然这些方法在减少对齐误差方面有效，但它们通常依赖于针对特定机制定制的专用工具或夹具[18]，这限制了它们在多种拆卸场景中的适用性。基于视觉的控制和视觉伺服提供了实时反馈，用于跟踪和运动校正[19]，但它们本质上仅限于可观测的表面，无法捕捉到许多拆卸过程中占主导地位的内部或隐藏的接触状态。**

为了提高执行层面的鲁棒性，广泛采用了适应性控制方法。阻抗和导纳控制使机器人能够通过实时调节刚度和阻尼参数来调节交互行为[20] [21]，而力控制则通过基于反馈的力调节来控制接触交互[14]。这些方法显著提高了机器人执行技能的灵活性，并构成了许多富含接触的操控系统的基础。然而，它们的性能通常依赖于仔细的参数调整和对接触特性的假设。当面对复杂、高度变化或退化的接触条件时，这些控制器难以保持可靠的执行。因此，先前的研究强调需要扩展机器人技能的适应性，以应对各种拆卸场景中的不确定性[13] [22]。尽管如此，这些扩展在系统地适应真实世界拆卸中遇到的各种接触变化方面仍然有限。**

**2.2. 技能级机器人执行中的RL**
RL已成为提高富含接触的机器人执行适应性的有前景的方法，其性能、数据效率和泛化能力被广泛认为是关键挑战[3]。已经开发了使用接触交互的机械表示的无模型RL框架[23]，而结合视觉和力感知的多模态输入已被证明可以产生更平滑和更具适应性的插入行为[24]。然而，当视觉信息受阻或无用时，同时依赖视觉和力反馈的方法往往会退化，这在涉及隐藏内部接触的拆卸场景中很常见。**

最近的学习范式，如AutoMate [25] 和IndustReal [20]，证明了大规模几何表示学习可以在工业操控中实现令人印象深刻的跨任务泛化。尽管有这些进步，以视觉为主的方法在捕捉精细的接触转换、力变化和 occluded 结构内的阻力变化方面仍然有限。因此，它们不太适合那些关键交互状态不可直接观测的拆卸任务。**

为了解决数据效率问题，RL还与传统控制策略相结合，在相对低不确定性的环境中产生了稳健的行为[26]。虽然这些混合方法提高了学习稳定性，但它们通常围绕特定任务公式设计，范围较窄。其他研究通过识别关键状态或子组件来探索任务分解，从而实现跨场景的部分迁移[27]。这些策略在任务级别上提高了重用性，但并未明确针对底层执行技能的增强。**

RL已应用于多种拆卸任务。Peng等人[28]研究了用于补偿螺纹拆卸中位置误差的RL。Herold等人[29]提出了一种基于RL的方法来分离固定部件和插槽。Serrano-Munoz等人[12]检验了两种 Actor-Critic 算法在销孔拆卸中的泛化能力。Qu等人[9]研究了门链拆卸中的RL，包括在不同精度水平下的环境迁移。Zang等人[30]开发了一种用于间隙配合任务的高效RL框架，并将其应用于与TP相关的任务[7]。尽管这些研究展示了RL在拆卸中的潜力，但它们大多是为特定结构或机制开发的，在学习或执行过程中经常稳定性有限。因此，学到的策略在应用于具有不同结构配置或接触特性的拆卸场景时的可迁移性受到限制。即使在有限的情况下展示了可泛化的技能，它们的有效性也仅限于特定参数范围内。**

**3. 接触不确定性下TP拆卸技能的执行特性**
TP是一种常用的拆卸策略，用于拆卸盖子或提取类似轴的组件。在人工拆卸中，当内部几何形状、干扰条件或接触状态未知时，经常使用TP。通过同时施加轴向力和旋转扭矩，人类操作员可以旋转并抬起组件以探索可行的分离路径。**

然而，对于机器人拆卸来说，由于内部结构的隐藏、不确定的接触条件和不可避免的执行错误，很难复制这种效果。这些因素导致TP执行过程中的交互力扭曲和力-运动耦合的高度变化。因此，本节研究了在接触不确定性下TP技能的执行特性，特别关注旋转中心不对中的影响。**

**3.1. 旋转中心不对中作为接触不确定性的来源**
寿命终结的产品表现出高不确定性和变化性，使得在拆卸过程中难以对接触状态进行建模。此外，连接区域通常视线不可见，妨碍了视觉系统提供可靠的几何信息。为了解决这一限制，将两个部件之间的接触界面视为未知区域，并应用通用的机械分析。**

为了统一性，本文中的所有拆卸任务都用“盖子-轴”格式描述：可拆卸部件称为盖子，固定部件称为轴。无论实际结构如何，都采用这种术语；例如，在螺母-螺栓拆卸中，螺母被视为盖子，螺栓被视为轴。盖子-轴配合通常是间隙配合，由于内部特征或局部干扰可能会自锁。在这种情况下，无法直接拆卸，需要使用TP动作。**

如图2所示，当未知力作用于多个自由度时，TP在克服结构阻力方面非常有效。通过结合旋转和轴向运动，TP可以逐步缓解由互锁结构引起的摩擦效应和几何约束。在结构锁定的情况下，TP使得探索可行的分离路径成为可能；而对于以摩擦压缩为主的重叠配合，TP提供了一种有效的分离方法[31]。下载：下载高分辨率图像（100KB）下载：下载全尺寸图像图2. 在应用TP拆卸技能时，对未知内部结构的一般机械解释。在实际场景中，产品变异性和机器人执行错误经常导致旋转中心错位。错位进一步增加了本已不稳定的内部接触条件复杂性。如图3所示，考虑在一个笛卡尔坐标系中定义的TP拆卸操作，该操作包括在X-Y平面上的扭转运动和沿z轴的拉动。在错位的情况下，产生的接触状态变得复杂且难以预测。下载：下载高分辨率图像（77KB）下载：下载全尺寸图像图3. 旋转中心的错位。在理想条件下，机器人末端执行器在物体的旋转中心O处精确地施加一个垂直拉力FO→=0,0,FzT和一个扭矩TO→=0,0,TzT。在手腕处测量的扭矩直接反映了轴向阻力、摩擦作用以及沿提取轴的惯性效应，而不会引入额外的扭矩。当抓取点偏移r→=dx,dy,0T时，运动就偏离了围绕O的纯旋转。为了保持预期的轨迹，位于偏移点O′的末端执行器必须产生切向位移，产生侧向力并补偿扭矩。手腕处测量的扭矩可以转换为O处的扭矩为：(1)WO′=FO′TO′=I3×30r→×I3×3Fx′Fy′Fz′00Tz′=Fx′Fy′Fz′dy?Fz′?dx?Fz′Tz′+dx?Fy′?dy?Fx′其中r→×是表示叉积的斜对称矩阵，其定义为：(2)r→×=00dy00?dx?dydx0这种变换表明，即使在O′处只施加了垂直力Fz′，偏移也会引入围绕x轴和y轴的额外扭矩。因此，在手腕处测量的扭矩不再仅仅代表轴向阻力，而是包含了由错位引起的虚假分量。这种扭曲使得TP操作中的感知和控制变得更加复杂。此外，由错位引起的弯矩可能会导致盖子与轴之间的局部摩擦变化或微小滑动。这种与柔顺性相关的效应虽然次于刚体相互作用，但进一步增加了力-扭矩测量的变异性，并对机器人TP拆卸的精确控制带来了额外的挑战。3.2. 在错位和接触不确定性下的TP拆卸柔顺策略上述分析表明，TP拆卸受到在不确定且部分可观察的接触条件下发展的力-运动相互作用的控制。在这种设置中，纯粹的刚性或位置主导的控制策略不足以维持稳定可靠的执行。相反，TP技能必须在执行层面上表现出柔顺性，以适应接触不确定性、错位和结构变异性。在TP拆卸中，柔顺性表征了机器人如何针对接触不确定性调节相互作用力和运动。当接触偏差保持有限时，柔顺行为允许末端执行器适应小的位置误差和局部接触条件的变化，同时沿着预期的TP轨迹保持连续的相互作用。这种容差对于减轻寿命终期拆卸中常见的轻微错位和表面不规则性的影响至关重要。在这项工作中，实现了一个笛卡尔阻抗控制律。这使得末端执行器能够在遵循期望轨迹的同时与外部表面保持稳定接触。笛卡尔扭矩计算公式为：(3)Fd=Kxd?x+Dxd??x?其中xd和xd?是期望的姿态和扭转，x和x?是测量值。刚度和阻尼矩阵是对角的，定义为：(4)K=ktI303×303×3krI3(5)D=2ktI303×303×32krI3其中kt表示平移积分增益，kr表示旋转积分增益。在这项工作中，这两个值是固定的。尽管这些阻抗特性在适度不确定性下支持稳定相互作用，但当由于错位或内部干涉导致阻力增加时，它们不足以维持有效的TP执行。在这种条件下，TP技能执行表现出适应性耦合，其中旋转运动根据升高的轴向力进行调节。如图3所示，拆卸方向沿+z方向，末端执行器以速度v拉动。对于错位r=dx2+dy2，扭转轨迹需要同时进行围绕O的旋转和切向位移。轨迹坐标为：(6)xθ=r?cosatan2dy,dx+θ(7)yθ=r?sinatan2dy,dx+θ所需的旋转角度θ必须补偿由结构错位引起的阻力。由于机器人沿z轴保持向上运动，当末端执行器错位时，会产生侧向约束力。为了确保沿旋转轨迹的适当接触进展，末端执行器必须围绕偏移中心旋转并施加切向位移。因此，我们定义了一个旋转补偿机制，将过大的轴向阻力转换为角度增量：(8)θ=kc?maxFz?Fs,0其中Fs是表示标称接触阻力的固定阈值。标量增益kc汇总了结构因素，包括偏移距离和局部刚度属性，并决定了轴向力转换为旋转运动的速率。4. 通过安全意识强化学习增强机器人TP技能第3节描述的柔顺TP拆卸策略提供了一个基于物理的基准，支持在拆卸过程中稳定的相互作用，并能够容忍有限的错位和接触变异性。然而，寿命终期产品遇到的结构配置和接触条件范围往往超过了固定柔顺参数和手动调整的执行规则的运行范围。这激发了一种基于学习的增强方法，利用交互经验来扩展TP技能的有效操作范围，同时保持安全的接触环境。4.1. 问题表述和安全意识训练框架为了在不确定的接触条件下增强TP执行技能，采用了强化学习（RL）作为一种数据驱动的机制，通过与拆卸环境的交互来优化与执行相关的参数。TP拆卸过程被构建为一个顺序决策问题，其中环境E被实例化为一个通用的盖子-轴拆卸操作。在每个时间步t，智能体观察一个状态st，选择一个动作at，在t时刻获得奖励rt，并转换到下一个状态st+1。学习目标是优化策略πst以最大化累积预期奖励。为了应对第3节分析的由错位引起的不确定性，观察空间集成了末端执行器传感器反馈和与接触相互作用相关的对象级信息。在接触丰富的条件和抓取错位的情况下，仅末端执行器的姿态不足以作为一个状态指标，因为柔顺性引起的变形可能会使夹持器的局部运动与实际物体位移脱钩。因此，观察空间包括末端执行器的六维扭矩，包括力（fx, fy, fz）和扭矩（tx, ty, tz），以及一个标量指标?d，它反映了物体与夹持器之间的高度差，如图4所示。下载：下载高分辨率图像（83KB）下载：下载全尺寸图像图4. 标量指标?d的示意图。这个变量描述了盖子的外部特征，并用于表示夹持器位置与盖子位置之间的相对运动。虽然末端执行器的姿态可以准确测量，但它可能无法完全捕捉物体在柔顺交互下的物理响应。例如，滑动或变形可能导致物体的实际位移偏离预期轨迹。通过包含?d，可以补偿这一限制，从而提供更好地反映拆卸过程进展和稳定性的对象级反馈。因此，观察向量定义为：(9)st=fx,fy,fz,tx,ty,tz,?d其中fx, fy, fz, tx, ty和tz分别表示x轴、y轴和z轴上的力和扭矩。动作根据柔顺控制策略设计，表示为：(10)at=dx,dy,kc其中dx和dy表示末端执行器的平面位移，kc是一个标量增益，用于调节在垂直阻力下的活跃旋转响应的幅度。在TP拆卸执行过程中，过多的垂直运动或过度的耦合可能导致不安全的接触力、组件损坏或不稳定的轨迹。这些问题在RL过程中由于频繁的试错探索而进一步加剧。为了应对这些风险，我们引入了一个SP，用于在探索期间显式调节垂直动态。SP独立于主要RL策略运行，并执行一个速度调节策略πs，根据最近的增量反馈?d及其历史来调整夹持器的上升速度v。该策略旨在在检测到夹持器滑动或组件变形时降低施加的速度。该策略旨在满足三个安全标准：(i) 如果?d=0持续存在，速度逐渐以步长η增加，受到vmax的限制；(ii) 如果?d接近其物理上限，速度迅速降低；(iii) 如果之前的减速效果有限，进一步施加抑制。设?dt表示时间步t的增量高度差，vt?1表示在前一个时间步t?1应用的垂直速度命令。归一化偏差比为：(11)ρt=?dtvt?1?t+ε其中ε是一个小常数。在初始时间步t=0时，vt?1设置为预设的初始值vinitial，?d=0。为了评估控制的历史效果，引入了一个补偿比率：(12)Φt=?dt/vt?1?dt?1/vt?2+ε为了保持控制器的连续性，我们赋予初始值?d?1=0和v?2=vinitial。完整的速度调节策略表示为：(13)πs?dt=minvmax,vt?1+η,minvmin,vmax?e?κ1ρt?e?κ2Φt,ifΔdt=0othervis其中vmin是防止执行器停止的最小速度限制，vmax是最大操作速度，κ1,κ2∈R+是敏感性系数，η>0是在没有观察到?d时应用的固定线性加速度增量。我们制定了一个复合奖励函数rt来指导增强过程。它包括两个组成部分：差异惩罚rd和物体提升增益rh。奖励定义为：(14)rt=αrh+βrd其中α和β是权重系数。物体提升增益rh指的是目标在z方向上的高度增加。因此，rh定义为rh=ztO?zt?1O。为了反映拆卸行为的安全性能，引入了差异惩罚rd。rd基于预期的名义差异和实际观察到的增量来制定。时间步t的名义差异增量可近似为：(15)Δdtn=vt?1?Δt然后奖励rd定义为：(16)rd=?Δdt?Δdtn/Δdtn+ε该函数捕捉了抑制效率的相对差异：当实际差异显著低于预期（即有效补偿已发生或结构稳定时），奖励接近0；当差异较高（例如，策略无效或效率低下）时，它接近?1。较小的不匹配表明当前的SP调节和执行的交互是一致的（即，在对象层面上有效地实现了垂直命令），而较大的不匹配表明由于滑动、变形或接触停滞导致了效率低下。通过惩罚这种不匹配，rd鼓励RL策略选择与SP协同工作的平面调整dx,dy和调节增益kc，从而在接触不确定性下提高训练稳定性。将安全约束结合到RL方法中已被证明是一种有效的方法[32]。对于机器人TP拆卸任务，我们通过基于目标分析设计安全策略来辅助代理在训练阶段的训练，以获得更高效和稳健的技能。所提出的训练过程如算法1所示，并且独立于RL算法。设计的安全策略降低了不可预测故障的概率。此外，设计的奖励函数确保学习代理专注于有意义的校正措施。算法1安全意识RL训练程序4.2. 带有结构化观察-动作表示的策略实现TP拆卸涉及在不确定接触条件下调节的旋转和轴向运动的耦合执行。如第3节所分析的，扭转和拉动在TP执行过程中扮演不同的物理角色，它们的耦合对接触状态、错位和内部阻力的变化极为敏感。这些运动之间的不适当耦合可能导致突然的力重新分配和不安全的交互，特别是在基于学习的执行过程中的探索中。为了在安全意识增强框架内保持TP的执行结构，策略实现采用了与这些物理角色对齐的结构化表示。为了反映TP动态的物理解耦，网络架构被划分为两个不同的分支：一个用于平面调节的运动分支和一个用于轴向力调节的柔顺分支。这种结构限制了学习执行调整的方式，减少了扭转和拉动之间的不必要的干扰，同时保持与TP拆卸特性的一致性。所提出的框架使用深度确定性策略梯度（DDPG）框架[33]进行实例化。选择DDPG是因为其确定性策略非常适合需要稳定执行的接触丰富拆卸任务[30]，[34]。由于本工作关注执行级别的技能增强而非RL变体的比较，因此使用DDPG作为代表性的连续控制算法。演员网络和评论家网络采用相同的结构化表示，如图5所示。运动分支处理平面力/扭矩（fx, fy, tz）以生成平面位移（dx, dy），而柔顺分支将垂直/扭动力（fz, tx, ty）和对象指标?d映射到柔顺增益kc。这种结构化的融合确保了学习到的策略尊重对齐校正和力调制的物理独立性，从而促进了稳健和安全的执行。下载：下载高分辨率图片（110KB）下载：下载全尺寸图片图5. 具有结构化观察和动作表示的演员和评论家网络架构，用于TP技能执行。5. 实验与结果本节详细描述了机器人TP拆卸的实验平台，随后是对TP技能增强的系统评估。实验旨在评估所提出的技能增强框架在变化的结构和接触条件下滑动性能和鲁棒性的有效性。5.1. 实验设置图6展示了机器人TP拆卸实验平台及其相应的拆卸对象。该平台配备了Franka Emika机器人[35]，该机器人配备了高分辨率的关节扭矩传感器。使用Franka Hand（一个完全集成的两手指夹持器）来操作对象。为了监控拆卸过程，一个双摄像头系统提供了视觉反馈，特别强调了垂直校准和检测，以满足TP任务的要求。完整的硬件设置如图6(e)所示。下载：下载高分辨率图片（337KB）下载：下载全尺寸图片图6. 机器人TP拆卸实验平台。(a) 五种典型的TP拆卸情况。(b) 五个例子的检测效果。(c) 五个例子的内部结构。(d) 两个类似扳手的例子。(e) 实验平台的硬件。(f) AruCo在真实世界产品上的应用。(g) Aruoco的检测效果。(h) 三个用于机器人TP拆卸的真实世界产品。(i) 用于课程训练的不同大小和形状的TP任务。一个移动工作站（Intel(R) Core i7-10850H CPU 5.1?GHz）作为其控制中心，通过Franka Control Interface (FCI)与机器人通信，并通过franka_ros中的函数执行运动控制编程。我们准备了五种代表性的TP拆卸情况（图6(a)），其内部接触结构显示在图6(c)中。这些情况具有统一的外观，确保了实验条件的稳定性。对象检测通过图像分割（图6(b)）进行，这有助于提取垂直参考信息，特别是对象与夹持器之间的相对高度，作为强化学习代理的关键状态观察。此外，引入了两种扳手类型的TP操作（图6(d)），以扩展TP技能的范围，并使机器人能够通过相同的增强框架获得额外的任务能力。进一步地，测试了三个真实世界产品案例（图6(h)），以证明增强的TP技能能够有效地拆卸实际的工业对象。对于这些案例，使用了基于AruCo的检测（图6(f)和(g)）来提供位置信息并估计对象-夹持器的高度差异作为观察输入。以图6(a)中的TP拆卸案例为例，机器人TP拆卸过程如图7所示。这个过程包括三个连续阶段：定位、抓取和拆卸。拆卸阶段是训练有素的TP技能的核心执行阶段，任务终止由基于实时状态评估的成功分离或失败条件触发。值得注意的是，当在执行过程中达到预定义的旋转限制Rmax时，机器人不会终止或重置会话。相反，它会动态调整末端执行器的旋转配置，以保持在其机械限制范围内，并继续执行任务。这种方法确保了操作的不间断性，同时尊重了硬件安全限制。下载：下载高分辨率图片（115KB）下载：下载全尺寸图片图7. 机器人TP拆卸过程。定位和抓取阶段通过预定义的运动程序执行。为了模拟TP拆卸过程中的抓取错位，手动分配了不同的抓取位置和对象方向。如图8(a)所示，固定的TP拆卸坐标系以z轴为拉伸方向，沿同一轴逆时针施加扭转运动。对象的方向是手动设置的，而抓取位置则在由盖子尺寸决定的范围内随机采样于x轴上。在典型情况下，盖子直径为40?mm，x轴上的抓取位置采样范围设置为（?20?mm, 20?mm），如图8(b)所示。下载：下载高分辨率图片（219KB）下载：下载全尺寸图片图8. 抓取过程中的错位模拟结果。(a) 零件初始位置的变量。红色坐标是固定的TP拆卸操作坐标系，蓝色坐标是对象方向的随机放置。(b) 夹持器在x轴上的抓取位置的随机变化。拆卸过程基于本工作中提出的基于RL的TP技能增强来执行。为了确保操作安全，我们为允许的力Fmax、扭矩Tmax和时间步长间隔Δt设置了预定义的阈值。在五个典型案例中，动作空间中的dx和dy也受到拆卸对象几何尺寸的限制，范围为（-20 mm, 20?mm）。标量增益kc从范围（0,0.01）中选择，单位为rad/N。与符合TP拆卸技能相关的其他参数列在表6中（见附录）。在每次实验中，轴都是刚性固定的。一旦盖子达到预定的提取高度，任务就被视为成功。为了防止机器人受到机械过载，当法向力或扭矩超过各自的安全限制时，任务将被终止并标记为失败。此外，失败可能是由于抓取动作不成功或视觉系统无法检测到对象。每次拆卸尝试限制在最多250个时间步长内。从训练的角度来看，如果在连续80个会话中没有成功的拆卸发生，则训练会话被视为不成功。RL过程和符合TP技能的参数配置是通过试错方法确定的。本研究不旨在探索各种超参数的敏感性或不同算法设置的比较性能。因此，只报告最终评估和优化的参数。训练期间使用的详细超参数设置总结在表7中（见附录）。为了进一步支持训练过程，采用了一种课程学习机制。该机制逐渐让代理接触越来越复杂的TP拆卸环境，从而促进稳定的TP性能并提高泛化能力。每个课程级别在阻力、错位或接触复杂性方面提供额外的挑战，模拟真实世界的拆卸变异性。正式地，课程被定义为环境列表C=E1,E2,...,EK。如算法2所示，代理在环境Ek中训练，直到最近M个会话的成功率达到预定义的阈值τ。一旦满足条件，就激活下一个环境Ek+1。这种分阶段训练策略确保了逐渐适应，并防止过早暴露于高方差任务，最终促进了学习到的TP拆卸行为的鲁棒性。算法2 TP技能课程训练5.2. 机器人TP技能的结构适应性基于上一节描述的训练环境，我们对图6(a)中显示的案例进行了实验，以评估所提出的方法。本节研究了所提出的TP技能增强框架对不同盖子-轴配置的执行稳健性和结构适应性的影响。在这项研究中，只有成功完成RL训练的TP技能被保留，它们的参数被固定并随后用于性能评估，以确保所有报告的结果反映了执行能力。使用这种方法，TP拆卸技能在五个典型案例中得到了成功增强。如图6(c)所示，这些案例包括间隙配合、单槽、螺纹、多阶段槽和干涉配合。执行过程中相应的末端执行器力和扭矩测量显示在图9中。下载：下载高分辨率图片（538KB）下载：下载全尺寸图片图9. 五种典型情况中的TP拆卸过程中的力和扭矩数据。图9展示了机器人在不同结构条件下执行的完整TP拆卸过程。结果表明，增强的TP技能在适应不同的内部接触结构时保持了稳定的执行，这一点通过相应的力和扭矩曲线得到了体现。为了进一步验证其有效性，我们进行了消融研究，并将我们的方法与公开可用的方法进行了比较。具体来说，评估了五种方法：1)TPRL+SP（结构化的）：结合了符合TP执行、强化学习、安全意识培训和结构化观察-动作表示的提出的TP技能增强框架。2)TPRL+SP（非结构化的）：该框架的变体，采用相同的符合TP执行和安全意识培训策略，但不进行结构化分离，而是联合处理所有观察结果。3)TPRL：使用RL进行TP技能增强，但不包括安全意识执行，所有观察结果都联合处理，没有结构化表示。4)RCRL：一种结合了RL和合规拆卸控制器的技能[7]。在RL中仅考虑了TP过程的旋转中心误差。5)仅使用RL：仅使用RL进行TP拆卸技能获取[9]。图10展示了不同结构环境中机器人TP技能的训练结果。在此图中，成功率基于对象的最终垂直位移来评估。对于这些任务，当盖子被提升至少20?mm时，拆卸被认为是成功的。这种差异归因于案例B中材料刚度的更高，这产生了更显著的接触力反馈，并在执行过程中促进了更有效的合规性调节。下载：下载高分辨率图片（468KB）下载：下载全尺寸图片图10. 五种典型案例训练期间的TP拆卸成功率（所有结果来自第三轮训练）。为了定量评估训练性能，引入了两个指标。第一个指标表示为τf，定义为训练序列最后十个会话的平均成功率。第二个指标表示为es，对应于最近十个会话的移动平均值首次超过90%成功率的最早会话索引。这两个指标共同提供了最终训练稳定性和技能获取速度的衡量标准。表2总结了通过训练获得的TP拆卸技能的性能。每种方法每种任务都训练了5次。表2. 获得的TP拆卸技能的性能。aTP拆卸技能间隙配合单槽多阶段槽干涉配合螺纹τf%esτf%esτf%esτf%esτf%esTPRL+SP（结构化的）100(0)21(2.61)100(0)37.2(4.49)99.6(0.49)61.2(7.3)100(0)41.8(6.49)99.4(0.8)60.2(6.85)TPRL+SP（非结构化的）100(0)21.2(2.79)99.8(0.4)62.6(6.34)86.8(9.6)N/A98.6(1.5)51(7.69)96.4(3.2)74.2(6.46)TPRL100(0)37.2(3.87)90.4(8.21)N/A78(7.69)N/A94.4(4.08)N/A60.4(9.09)N/ARCRL97(3.35)63(12.76)69(12.88)N/A66.6(0.49)N/A86.4(5.68)N/A46.8(9.43)N/A仅使用RL94.8(3.31)74.8(4.45)51.6(2.33)N/A33.2(0.75)N/A78.4(8.01)N/A21.2(4.26)N/A括号中的结果代表该数据的标准偏差。总的来说，图10和表2中的结果表明，与其他列出的方法相比，我们的方法在强化TP拆卸技能方面表现出更高的效率。在所有五个任务中，都在80个会话内实现了稳定的性能，最终轮次的成功率超过了99%。消融结果进一步验证了安全意识培训在处理大抓取错位方面的有效性，显著提高了执行的稳健性。此外，结构化的观察-动作表示有助于在具有复杂内部接触结构的任务中进行更可靠的适应。相比之下，非结构化策略将运动调节和合规性调节结合在单一策略中，使得学习对接触不确定性非常敏感。在结构化表示中，平面调整和合规性相关调节被明确分开，从而在错位和隐藏接触条件下显著提高了学习稳定性。为了评估增强型TP技能的泛化能力，我们将训练好的策略应用于具有不同内部结构的任务。评估结果展示在表3中。还与未经RL训练的基线控制器进行了比较。此外，我们编制了一个包含五种典型情况的课程训练环境列表C0。我们参考了算法2，并将M设置为10，τ设置为0.9。表3. 技能适应不同结构环境的能力。技能来源拆卸成功率间隙配合单槽螺纹多阶段槽干涉配合间隙配合10/103/103/103/105/10单槽10/1010/105/107/107/10螺纹10/109/1010/107/1010/10多阶段槽10/1010/108/1010/1010/10干涉配合10/109/109/109/1010/10未经RL9/102/103/102/103/10C010/1010/1010/1010/1010/10表3的结果表明，通过基于环境的训练增强的TP技能表现出明显的结构适应性。在更复杂的接触条件下训练的技能在应用于不熟悉的结构时 tend to 更有效地泛化。相比之下，没有RL增强的技能仍然对错位和接触变异性敏感，特别是在具有明显内部约束的结构中。失败案例主要与极端抓取错位或严重的内部干涉有关，这可能导致力饱和或尽管有安全限制但交互不稳定。这些失败表明了在极端接触不确定性下TP执行的实际限制，而不是增强框架本身的缺陷。5.3. 扳手类型操作的机器人技能增强在之前的实验基础上，进一步扩展了初始错位范围，以评估增强型TP技能在标准盖子-轴配置之外的扩展程度。如图6(d)所示，设计了两种扳手类型的配置来评估当有效旋转中心与抓取位置显著偏移时，增强型TP技能执行的鲁棒性。在这些情况下，沿x轴的初始错位量为（-20 mm, 20 mm），标量增益kc定义在（0, 0.1）rad/N的区间内。这种扩展代表了TP技能增强的高级形式，其中执行策略能够适应分散的旋转中心和较大的径向偏移，从而实现类似于使用扳手的拆卸行为。具体来说，通过在存在较大旋转偏移的情况下调整初始相互作用半径，增强的TP技能能够适应分散的旋转中心，从而实现扳手类型的拆卸。图11展示了在执行成功增强的TP技能时记录的力矩数据（以扳手为例）。下载：下载高分辨率图像（311KB）下载：下载全尺寸图像。图11。(a) 扳手拆解任务中的力和扭矩数据。(b) 图表的底部显示了TP拆解过程。(c) 扳手TP拆解的坐标。在两种扳手类型的案例中，初始错位是通过在盖子的x轴上均匀采样（范围为-20 mm, 20 mm）来引入的。我们选择了两个初始参考位置p20和p40，分别对应20 mm和40 mm，作为代表性的初始r，如（6）、（7）中所定义的。拆卸高度设置为10 mm。这些配置下机器人获得增强型TP技能的性能在表4中报告。表4. 将TP技能应用于扳手环境的能力。aTP拆解技能 Case A Case B τf% τf%p20 58.6 (8.01) 67.8 (9.85)p40 48.8 (15.97) 63 (9.53)a括号中的结果代表该数据的标准差。在80次训练 episode内，两种情况都未能稳定实现TP技能。因此，我们仅报告了五次独立训练运行的平均成功率τf。结果表明，当初始交互点更接近真实旋转中心时，TP执行的可靠性更高。在两种配置中，较小的径向偏移始终观察到更高的成功率。两种配置之间，Case B的表现始终更好。这种差异归因于Case B中材料刚度的较高，这产生了更明显的接触力反馈，并在执行过程中促进了更有效的合规性调节。为了进一步分析增强效果，我们将之前增强过的四种TP技能中的每一种扩展到一个训练实例，直到收敛，并将结果策略应用到扳手类型场景中。在评估过程中，我们记录了整个TP拆解过程中的标量增益kc，并计算了其平均值和最大值。如图12所示，结果显示kc与拆解点与真实旋转中心之间的径向距离有很强的相关性。此外，当与真实旋转中心的距离较大时，材料属性的变化对kc值的影响更为明显。下载：下载高分辨率图像（89KB）下载：下载全尺寸图像。图12. 四种情况下TP拆解过程中的平均kc。这些观察结果证实了我们方法中kc的自适应调节有效支持了TP原语向扳手类型配置的迁移。与涉及相同轴尺寸的螺纹拆卸相比，扳手类型操作需要更积极的旋转补偿，这一点从较高的kc值中得到了证明。5.4. 用于真实产品的机器人技能增强通过强化学习（RL）增强的拆卸技能在测试部件中有效展示了结构适应性，并可以扩展到类似的扳手结构中。在模拟环境中展示了结构适应性后，本节评估了增强型TP原语向现实世界工业场景的迁移能力。准备了三个需要TP技能执行的代表性真实世界拆卸案例，如图13所示，涵盖了典型的家庭和工业场景。下载：下载高分辨率图像（302KB）下载：下载全尺寸图像。图13. 三种真实案例中的机器人TP拆卸过程。(a) 螺帽-螺栓 (b) 咖啡罐 (c) 激活按钮。如前所述，我们的方法在环境列表C0中训练后能够很好地适应不同的结构。为此，我们构建了一个分层的课程体系（图6(i)），包括三个环境级别，按照算法2中描述的课程程序依次进行训练：1) Cl：6个环境，包括几何变异（圆形、方形）的盖子（螺纹、多级槽和干涉配合）。2) Cm：12个环境，包括尺寸变异（直径60 mm、直径80 mm）和几何变异（圆形、方形）的盖子（螺纹、多级槽和干涉配合）。3) Ch：20个环境，包括尺寸变异（直径60 mm、直径80 mm）和几何变异（圆形、方形）的盖子（螺纹、多级槽和干涉配合），以及动态变化（除了螺纹之外的所有情况都是顺时针旋转）。每个环境级别对应一个课程阶段，训练从Cl进行到Cm，然后到Ch，当最近M个episode的成功率超过预定义的阈值τ时触发过渡。我们将M设置为10，τ设置为0.9。对于训练期间的初始错位（-20mm, 20mm），根据部件大小适当调整补偿。对于需要顺时针旋转的案例，仅反转旋转补偿的方向，而不修改TP技能的执行结构。旋转方向的选择基于具体案例。实验的结果显示在表5中。表5. 技能适应不同结构环境的能力。技能来源 Case 螺帽-螺栓 咖啡罐 激活按钮 C0 10/10 6/10 8/10 Cl 10/10 7/10 9/10 Cm 10/10 10/10 9/10 Ch 10/10 10/10 10/10 表5中的结果表明，增强的TP技能可以直接应用于真实世界的拆卸案例。在多个模拟环境中的训练提高了执行鲁棒性，以适应部件大小、形状和旋转方向的变化。特别是在多个模拟环境中的训练后，可以达到高的成功率。在真实世界产品中，基线课程C0在存在较大抓取错位和光滑表面材料的情况下显示出较低的鲁棒性。在这些条件下，TP执行变得不稳定，更容易发生滑动，从而阻碍了学习行为的有效迁移。相比之下，包含尺寸变化的课程训练使代理接触到更广泛的交互半径和接触条件，显著提高了实际部署中的鲁棒性。这些观察表明，课程设计在弥合模拟环境和真实产品拆卸之间的差距方面起着关键作用。与扳手类型实验一致，材料硬度在小的错位范围内对性能的影响可以忽略不计。然而，结构尺寸和旋转方向显著影响迁移成功率，因此需要提出的基于课程的适应措施。6. 讨论本文通过将问题表述为执行技能增强而不是特定任务的策略学习，引入了机器人拆卸领域的范式转变。核心创新在于将拆卸性能视为力-运动演化的涌现属性，而不是固定的几何映射。通过将强化学习（RL）基于现有的合规执行技能，该框架能够在没有明确接触状态建模的情况下系统地适应结构变异性和隐藏的接触交互。这明确了学习的作用不是取代分析控制，而是作为一种扩展物理基础原语的操作范围的增强机制。将TP抽象为执行原语是对这一观点的基础。尽管TP并不包含所有接触丰富的操作，但它捕捉了一类由轴向和旋转交互共同控制的通用操作，这些交互在拆卸和组装场景中频繁出现。具体来说，当轴向分离是主要进展模式时，TP抽象是有效的，旋转运动可以有效调节阻碍提取的演变接触约束。相反，当轴向分离不是主要进展模式，或者旋转运动不影响主导接触约束时，拆卸交互则不在这种抽象的范围内。重要的是要强调，盖子-轴抽象的目的不是提供 mating 部件的精确几何描述，而是定义一个交互框架，在此框架内可以协调轴向分离和旋转调节。在原始级别概念化这些操作允许将结构多样的任务统一在一个共同的执行模型下，当内部几何形状或公差未知时显著提高了可行性。对于具有额外自由度或关节末端执行器的工具，此类扩展主要需要用特定于工具的运动学约束来增强执行原语，同时保持运动调节和合规性调节之间的分离。这种基于原语的推理为结构化操作技能提供了可扩展的基础，不同于个别任务实例的刚性约束。本工作中的旋转中心分析是在准静态和刚体假设下进行的，这适用于捕获缓慢、接触密集的TP执行期间的主要力-运动关系。因此，动态效应（如惯性耦合和瞬态振动）没有明确建模，但通过低速执行机制和合规控制结构被隐式缓解。在这种执行机制下，末端执行器的速度不包括在观察中，因为准静态交互反馈足以调节TP执行。在TP抽象下，只有沿估计的拆卸轴的运动学组件被保留在观察中，而非轴向组件被省略。当估计轴显著偏移或主导分离方向发生变化时，这种设计可能会降低性能，这时需要额外的运动学组件。夹具的合规性和摩擦迟滞可能会在力-扭矩信号中引入额外的变异性，特别是在粘滑转换或快速接触状态变化期间。虽然这些效应会影响瞬时测量，但提出的执行级增强框架依赖于随时间积累的交互反馈，使其对这些瞬态现象具有鲁棒性。除了特定的TP原语之外，所提出的安全意识增强框架还展示了对其它接触丰富执行技能的通用适用性。该框架依赖于一种结构化的观察-动作架构，明确将运动调节与合规性调节分开。安全策略以基于规则的方式实现，以确保在接触密集的执行过程中透明和可预测地执行安全约束。与学习的安全约束或形式化的安全过滤器相比，这种设计避免了依赖大量的训练数据或难以在隐藏和变化的接触条件下保证的系统模型。尽管安全策略独立于RL策略运作，但它并不直接塑造奖励或策略更新过程。相反，它仅在执行过程中限制了不安全的动作空间，确保学习发生在物理上可接受的交互范围内。因此，这种架构约束使学习能够专注于优化可接受的交互力范围，而不是从零开始发现运动学行为。与具体的TP原语相比，所提出的安全意识增强框架展示了对其它接触丰富执行技能的通用适用性。该框架依赖于一种结构化的观察-动作架构，明确将运动调节与合规性调节分开。安全策略以基于规则的方式实施，以确保在接触密集的执行过程中透明和可预测地执行安全约束。与学习的安全约束或正式的安全过滤器相比，这种设计避免了依赖大量的训练数据或难以在隐藏和变化接触条件下保证的系统模型。尽管安全策略独立于RL策略运作，但它并不直接塑造奖励或策略更新过程。相反，它仅在执行过程中限制了不安全的动作空间，确保学习发生在物理上可接受的交互范围内。因此，这种架构约束使学习能够专注于优化可接受的交互力范围，而不是从零开始发现运动学行为。与此相一致，类似的增强机制可以应用于涉及插入、固定或力引导分离的原语，从而实现了机器人能力的逐步扩展。在本研究中，平移和旋转刚度参数是固定的，以建立TP执行的稳定和物理基础的合规性基准[7]。在合理的范围内，这些参数主要影响接触交互的平滑度和瞬态力响应，但不会根本改变TP拆卸的执行机制。过高的刚度可能会放大接触力并危及安全性，而过低的刚度则会降低执行效率。相反，增益kregulates如何将过度的轴向阻力转换为旋转调节，作为一个交互级别的敏感性参数，而不是一个可以直接测量的物理常数。虽然kci与有效错位和接触刚度等因素有定性关联，但由于隐藏的接触和摩擦效应，这些量无法在线可靠测量。因此，刚度调整被视为次要的设计选择，而主要的性能提升来自执行级别的技能增强。系统地研究刚度调整和调节增益的物理基础是未来工作的重要方向。在系统级别，执行级别的技能增强对机器人拆卸系统的组织有着深远的影响。通过减少对精确产品模型和刚性任务定义的依赖，增强的执行技能促进了在再制造和寿命终结处理等非结构化环境中的操作。工作站可以围绕可重复使用的执行基元进行构建，而不是固定的顺序，从而实现更快的重新配置、增强对产品变化的适应性，并灵活地部署到不同的产品系列中。尽管训练需要相当数量的训练周期，但学习过程是离线进行的，并且每种技能配置只进行一次。在工业应用中，学到的执行技能可以在具有相似交互特性的产品之间复用，从而分摊训练成本。就实时性能而言，所有与学习相关的优化都是离线完成的。在执行过程中，该框架只需要策略推理和轻量级的安全检查，每个控制周期的计算成本固定，这使得它在典型的节拍时间约束下适用于工业应用。最后，这种以执行为中心的视角为工业自动化范式的演变提供了方向。系统能力可以通过不断增强执行技能来逐步提升，而无需在规划阶段就编码功能完整性。将这种方法扩展到多技能协调和自适应末端执行器设计，为开发通过能力增长而非重复设计来演进的制造系统指明了有前途的方向。

7. 结论
本文提出了一个基于机器人拆卸的安全感知技能增强框架，将合规的执行策略与强化学习（RL）相结合。通过专注于物理上可执行的执行基元的增强，所提出的方法有效地解决了机器人拆卸中的关键挑战，包括结构变化、接触不确定性和数据效率低下等问题，而无需依赖于特定任务的建模或隐藏接触状态的显式表示。在三种不同的增强场景下的实验验证证实了该方法的有效性。在涉及不同机械约束的结构化任务中，该系统在80个训练周期内成功率超过了99%，展示了高效的技能获取能力。此外，该框架成功地将TP基元扩展到了需要扳手辅助的操作，并证明其能够 robustly 转移到尺寸、形状和旋转方面存在变化的真实工业产品上。这些结果验证了增强执行级基元能够有效提升机器人拆卸的适应性。重要的是，非线性规划（SP）和结构化观察-动作架构的集成确保了平面运动调节与合规性调节的明确分离，从而避免了探索过程中的不安全力-运动耦合。机器人不仅在特定任务中获取行为，还在定义明确的基元内部提升了其固有的执行能力，从而能够在结构多样的场景中实现无缝转移。

未来的工作将侧重于将这种增强范式扩展到更广泛的执行技能库中，加强系统级集成，并结合触觉传感器或多模态感知，以进一步支持实际拆卸环境中的复杂接触操作。

作者贡献声明：
邓五鹏：撰写 – 审查与编辑。
张帆：撰写 – 审查与编辑。
王永静：撰写 – 审查与编辑，资金获取。
Amir M. Hajiyavand：撰写 – 审查与编辑。
张越：撰写 – 原始草案，验证，软件，方法论，形式分析，数据管理，概念化。
张永全：撰写 – 审查与编辑。
徐小珍：撰写 – 审查与编辑，验证，软件，数据管理。