考虑阶段特性和粗糙度约束的多阶段机器人抛光扩散策略

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：Stage-aware and roughness-constrained diffusion policy for multi-stage robotic polishing

　　• 一个统一的SRDP框架从演示中学习多阶段抛光技能。• 阶段后验条件化扩散去噪，以实现一致的长远动作。• 粗糙度和可行性约束调节力和速度的生成。• 实际机器人实验验证了改进的稳定性和表面质量。

引言
抛光是航空航天和其他高价值制造领域中必不可少的最终处理工艺，表面质量直接影响组件的性能和可靠性。然而，传统方法在处理小批量、多品种和复杂表面组件时越来越受限[1]。手动抛光劳动强度大且一致性差[2]，而专用机床解决方案通常成本高昂且灵活性不足。机器人抛光通过可编程性、重复性和感知能力提供了有前景的替代方案[3]，但许多现有系统仍然依赖于离线编程或基于模型的控制，这限制了它们对多样化制造场景的适应能力[4]。
机器人模仿学习比传统的离线编程或纯基于模型的控制提供了更灵活和高效的方法，用于自主执行复杂的接触密集型任务。其关键优势在于直接从人类示范中学习策略，而无需显式建模复杂的系统动态或手动设计成本函数。这使得它特别适合于难以精确建模但可以通过积累的示范来学习的制造过程。早期方法主要依赖高斯混合模型、任务参数化的运动学习[5]和动态运动原语[6]来表示和再现示范轨迹。这些方法提供了良好的可解释性和轨迹平滑性，但在处理高维视觉感知和复杂多模态动作分布时能力有限。随后，诸如生成对抗式模仿学习（GAIL）[7]将模仿学习形式化为对抗策略学习，行为transformer（BeT）使用transformer来建模多模态动作分布[8]，以及使用transformer的动作分块（ACT）引入分块动作预测以减轻逐步行为克隆中的误差累积[9]。近年来，随着大规模机器人学习和生成策略的发展，例如RT-1[10]、RT-2[11]和Diffusion Policy[12]等方法进一步展示了端到端策略在多任务泛化、高维连续动作建模和时间一致性保持方面的强大潜力。特别是Diffusion Policy将机器人策略表示为条件去噪扩散过程，在连续动作生成和多模态策略表示方面显示出显著优势。它在装配[13]、抓取[14]和可变形物体操纵任务[15]中取得了有希望的结果，从而为复杂制造过程中的动作生成提供了新的技术基础。
尽管基于扩散的模仿学习在机器人操作方面取得了显著进展，但将其直接应用于抛光及相关制造过程仍然具有挑战性。首先，这些过程表现出长远的阶段不确定性，其中视觉上相似的局部状态可能对应于不同的阶段和控制目标。在这项工作中，长远操作指的是跨多阶段工作流的阶段依赖性决策和动作序列，而不仅仅是单张磨料片的使用寿命。其次，基于扩散的策略通过随机去噪生成动作，这一过程的固有随机性可能导致在分阶段预设的主轴速度设置下生成进给速度和法向接触力时出现不受控制的参数漂移。由于这些参数共同决定了材料去除和表面粗糙度的演变[16][17]，这种漂移可能导致物理上不一致的参数组合、不稳定的接触、表面质量波动或局部过度抛光。据我们所知，目前还没有一种统一的解决方案能够同时处理高维生成策略中的长远阶段不确定性和不受控制的参数漂移。
本文的主要目标是开发一个物理上可信的行为学习和生成框架，用于复杂制造过程。为此，我们提出了一种具有阶段意识和粗糙度约束的扩散策略（SRDP），该策略结合了阶段条件化反向去噪和粗糙度约束的扩散采样，以解决长远阶段不确定性和不受控制的参数漂移问题。据我们所知，这是首次将这种统一的阶段意识和质量约束扩散公式引入多阶段机器人抛光中。除了特定的抛光参数选择外，相同的公式还可以作为将阶段依赖性目标、物理约束和质量驱动调节纳入生成式机器人策略的通用机制，使其可能适用于更广泛的制造过程，如磨削、钻孔、去毛刺和精密抛光。对于其他涉及多阶段工作流和质量相关过程约束的制造应用，可以通过收集特定任务的示范并定义相应的过程质量模型和可行的参数范围来适应SRDP的阶段意识建模、基于示范的动作生成和受约束的采样机制。
为了明确我们的动机，在介绍我们的方法和贡献之前，我们进一步回顾了关于长远阶段不确定性和不受控制的参数漂移的研究（见图1）。
现有关于多阶段长远机器人操作的研究主要沿着三个方向发展：显式任务组织、结构化技能建模和高级条件驱动的长远策略学习。显式任务分解方法通过将高级任务组织与低级动作执行分离，提高了长远任务执行的稳定性和恢复能力。Luo等人提出的分层模仿学习框架[18]代表了一类通过显式阶段组织增强长远任务执行稳定性的方法。这表明，多阶段任务的关键不仅在于提高单步控制准确性，还在于在不同阶段保持动作逻辑和恢复机制。同样，Wu等人提出的混合现实辅助的人机技能转移方法[19]通过混合现实示范、生成式视觉运动模仿学习和接触密集型原语将复杂的装配程序组织成一组可转移的技能单元。这进一步表明，在工业任务中，中间技能表示本身是稳定长远执行的重要支持。另一条研究路线专注于技能单元的结构化表示和组合机制。例如，Learning a Skill-sequence-dependent Policy[20]和LeSkill[21]分别从技能顺序依赖性和可重用技能库的角度增强了长远任务中的技能组合。Logic-LfD[22]和基于行为树或规划领域定义语言（PDDL）[23]的长远规划框架进一步将技能序列与任务逻辑和反应式重新规划集成起来，使系统不仅能够组织多步骤程序，还能在动态环境中保持任务结构。与上述研究不同，FIT[24]、Diffusion Trajectory-Guided Policy[25]和Hierarchical Diffusion Policy[26]更加侧重于通过未来状态预测、高级轨迹指导和分层条件生成来建模长远依赖性，从而将长远策略学习从显式任务分解推向高级条件驱动的生成控制。总体而言，现有研究显著改善了长远任务中的任务组织和跨阶段规划。然而，它们的高级条件仍然主要以技能单元、子目标、未来轨迹或规划提示的形式表示，而不是直接针对复杂制造过程中后验阶段推断的问题，其中阶段是从多模态历史中推断出的潜在过程状态，而不是一个 readily available 的命令标签。对于如抛光这样的多过程任务，不同阶段通常表现出高度相似的局部观察，而它们的动作模式、接触状态和控制目标可能有很大差异。因此，仅凭任务组织和高级规划不足以支持稳定的阶段过渡。还需要一个策略机制来从多模态观察历史中推断当前阶段，并通过阶段条件控制直接驱动机器人动作生成。
现有研究还探讨了如何将几何先验、物理约束和过程知识纳入机器人动作生成。早期的工作主要集中在增强感知和动作表示上。3D Diffusion Policy[14]、Diffusion-EDFs[27]和Movement Primitive Diffusion[15]分别从3D几何表示、SE(3)对称性和运动原语参数空间的角度提高了动作生成的几何精度、结构一致性和轨迹平滑性。这些方法通过更好的参数化改善了动作意图的表示，但仍然难以直接确保生成结果满足特定的过程目标。另一条研究路线尝试通过过程机制模型建立技能学习与加工结果之间的联系。AL-ProMP及相关材料去除率模型[16][17]将力相关的技能与抛光结果和材料去除行为联系起来，表明接触力、进给速度和工具动作之间的耦合关系决定了最终的表面质量。然而，这些方法大多基于传统的显式技能学习或过程建模。尽管它们在力相关技能泛化和技术结果解释方面具有优势，但在处理复杂任务中的多模态动作分布时灵活性较低。在这些研究的基础上，最近的工作开始将约束直接引入生成或执行过程。Physics-Informed Diffusion Models[28]和Diffusion Optimization Models[13]分别通过物理方程损失和轨迹对齐机制将约束注入采样过程。Diffusion Policies for Dynamically Admissible Trajectories（DDAT）[29]在训练和推理期间引入动态可达集投影，使扩散轨迹满足动态可行性约束。Adaptive Compliance Policy和触觉-扩散变量阻抗控制框架[30][31]进一步将接触合规性纳入策略生成，允许位置控制和接触力调节协同工作。与前两类方法相比，这些研究将约束从表示学习和过程分析推进到了动作生成过程。然而，它们的目标仍然主要是通用物理一致性、动态可行性、轨迹可执行性或接触合规性，而不是制造质量目标，如表面粗糙度。对于机器人抛光和磨削来说，最终的表面质量不仅取决于动作是否可执行，还取决于接触力、末端执行器合规性和包括主轴速度、进给速度和法向接触力在内的耦合过程参数是否以统一的方式处理[32][33][34][35]。因此，尽管现有研究在约束生成和过程建模方面取得了进展，但仍然缺乏一种可以直接将粗糙度驱动的联合参数约束引入高维生成策略的方法，以便为实际制造过程生成和调节动作。
总体而言，现有研究从不同角度改善了长远任务的组织和受限动作生成。然而，现有方法对于机器人抛光任务来说仍然不足，因为其中存在过程阶段不确定性和过程参数漂移。因此，这项工作旨在开发一个基于扩散的学习框架来解决这些挑战。为了解决上述问题，本文开发了SRDP作为机器人抛光任务的统一扩散策略学习框架。首先，从多模态观察历史中构建了一个阶段推断网络，并引入了阶段条件化反向去噪，以在长远阶段不确定性下生成阶段一致的动作序列。然后，基于以粗糙度为导向的过程模型，将粗糙度一致性和物理可行性约束纳入受约束的扩散采样中，以在分阶段预设的主轴速度下生成受限的进给速度和法向接触力。最后，在涂层表面抛光和内腔抛光实验中验证了所提方法的有效性。本文的主要贡献总结如下：
1. 提出了SRDP，用于多阶段机器人抛光，从示范中学习抛光技能；它从多模态历史中推断阶段后验，并通过共享的反向去噪来实现阶段一致的动作生成。
2. 提出了一种过程约束的扩散采样方法，将粗糙度质量和物理可行性约束引入反向去噪过程，在分阶段预设的主轴速度下生成受限的进给速度和法向接触力。
3. 广泛的实验，包括与先进方法的比较、模块消融研究和现实世界场景验证，证明了所提方法在任务性能、参数稳定性和表面质量方面的优势。
本文的其余部分组织如下。第2节介绍问题分解和整体框架。第3节介绍基于多模态观察历史的阶段推断网络和阶段条件化反向去噪机制。第4节描述以粗糙度为导向的过程建模和过程约束扩散采样方法。第5节介绍实验设置、比较结果和消融分析。第6节总结本文并讨论未来工作。

框架
本节介绍了为复杂机器人抛光任务提出的扩散策略学习框架，旨在开发一种能够同时建模任务阶段信息和过程参数之间协调关系的机器人抛光动作生成方法。具体来说，第2.1节阐述了复杂抛光任务的问题分解，第2.2节介绍了所提框架的整体流程和基本组件。关键问题在于如何生成与当前工艺阶段及其上下文信息一致的细粒度动作序列，同时确保相邻阶段之间的过渡平滑且可行。为此，通过结合阶段推理、阶段特定的去噪和过渡一致性正则化，构建了一种基于阶段条件的动作扩散策略。在本研究中，将物理和粗糙度质量约束直接嵌入到反向扩散采样过程中，以调控生成的过程参数。我们首先开发了一种以粗糙度为导向的过程建模方法，以建立过程参数与表面质量之间的关系，并定义了一个质量可行区域。然后提出了一种质量约束扩散采样方法，该方法在采样过程中将生成的过程参数投影到该可行区域内。

为了验证所提出方法在复杂机器人抛光任务中的有效性，我们在两个代表性场景进行了实验：即航天器舱体涂层表面抛光和内腔组件表面精加工。这两个任务同时涉及多阶段工艺转换、受限接触交互以及耦合的过程参数控制，因此对长时段动作生成能力和算法的鲁棒性提出了严格要求。

本文提出了一种称为SRDP（Stage-Aware and Roughness-Constrained Diffusion Policy）的阶段感知和粗糙度约束扩散策略，用于复杂的多阶段机器人抛光任务。该框架针对基于扩散的模仿学习在工业抛光应用中的两个关键局限进行了改进：长时段工艺阶段不确定性和过程参数的无约束漂移。SRDP通过多模态观测历史推断出工艺阶段的后验信息，并利用该信息来指导共享的反向去噪过程，从而实现各阶段之间的一致性。

**作者贡献声明：**
- 葛帅：撰写原始稿件、验证、方法论部分
- 张杰新：撰写、审阅与编辑、方法论部分
- 赵欢：撰写、审阅与编辑、方法论部分
- 魏超：验证、方法论部分
- 郭毅坤：验证、软件实现
- 吴天刚：可视化实现、验证
- 郭国强：资源协调、项目管理
- 周浩远：验证、软件实现
- 潘杰：撰写原始稿件、可视化实现、验证
- 丁翰：撰写、审阅与编辑、资源协调、项目管理

**利益冲突声明：**
作者声明没有已知的可能会影响本文研究工作的财务利益或个人关系。

**致谢：**
本研究得到了中国教育部基础与交叉学科突破计划（项目编号：JYB2025XDXM208）以及国家自然科学基金（项目编号：U24A20130和52505016）的支持。

**作者名单：**
- 葛帅
- 张杰新
- 赵欢
- 魏超
- 郭毅坤
- 吴天刚
- 郭国强
- 周浩远
- 潘杰
- 丁翰