基于增强状态的替代环境与多时间尺度深度强化学习在机器人磨削优化中的应用

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：State-enhanced surrogate environment and multi-time-scale deep reinforcement learning for robotic grinding optimisation

　　

• •
  开发了一种计算机集成式的机器人研磨优化框架。
• •
  状态增强的替代环境改善了虚拟性能评估。
• •
  基于功能的时间分配支持演员-评论家策略学习。
• •
  物理研磨试验验证了质量-效率参数推荐。

引言

机器人研磨单元已成为复杂金属部件自动化表面处理的重要制造系统，因为它们结合了灵活的机器人运动、可编程的过程控制以及对不同工件几何形状的适应性[1]。这些能力对于汽车制造、航空航天结构和精密机械中使用的高价值金属部件尤为重要，在这些领域中，研磨操作必须同时满足表面完整性、尺寸一致性和加工效率的要求[2]。然而，选择合适的研磨参数仍然具有挑战性，因为候选参数动作与最终过程性能之间的关系高度非线性，且在没有实际执行的情况下难以评估[3]。重复的机器人研磨实验可以建立这种评估关系，但它们成本高昂、耗时且不适用于策略级参数优化[4]。这促进了使用替代环境来进行机器人研磨参数推荐的虚拟性能评估。

替代环境通过允许在不重复进行实际操作的情况下对候选参数动作进行虚拟评估，从而支持机器人研磨优化[5]。现有的基于替代的方法通常直接从研磨前可测量的变量预测最终的研磨指标[6]。这种直接的映射对于机器人研磨来说是不够的，因为研磨过程中涉及材料去除相互作用、工件特性、工具状态和表面状态之间的耦合[7]。这些相互作用产生的中间过程响应难以在线测量，但包含有用信息，可用于下游指标的估计[8,9]。与最终研磨指标相比，这些响应可以作为更易处理的辅助估计目标，因为它们反映了在观察到最终性能之前形成的过程级效应。将这些响应纳入状态表示中可以改善环境侧的反馈，并增强基于动作条件的参数优化的可靠性。

因此，有效的机器人研磨替代环境应该不仅仅是直接预测最终指标。它应该以一种支持可靠地虚拟评估候选参数动作的方式来表示过程状态。在本研究中，引入了状态增强技术来解决这一需求。难以测量的中间过程响应被估计出来，并在最终指标估计之前嵌入到研磨状态表示中。然后，增强后的状态被多目标性能评估组件用来评估基于动作条件的研磨指标。在这种构想中，替代环境不仅仅是一个独立的预测器，还充当了一个丰富的过程状态信息的环境侧表示，生成多目标反馈，并支持基于强化学习的参数优化。

深度强化学习（DRL）为机器人研磨参数优化提供了一种自然的机制，因为代理可以通过来自环境的反馈来改进其参数策略[10]。然而，DRL的有效性取决于环境反馈的质量以及用于策略学习的时间结构。许多基于DRL的制造优化方法使用单一的时间范围来表示所有学习模块的过程状态[11,12]。这种处理方式与机器人研磨优化不完全一致，因为在机器人研磨优化中，不同的学习函数需要不同的时间信息。参数生成必须响应研磨过程中的近期局部变化，价值评估应使用更广泛的过程记忆来评估参数决策的后果，而环境侧的性能评估需要顺序上下文来评估多个过程指标。因此，单一的共享时间窗口可能会导致动作生成、价值反馈和性能评估之间的时间不匹配。

为了解决这些问题，本研究提出了一种状态增强的替代环境和多时间尺度深度强化学习（MTS-DRL）框架用于机器人研磨优化。替代环境包含两个功能组件。第一个组件估计难以测量的中间过程响应，并将它们添加到可观察的研磨状态中。第二个组件从增强后的状态评估基于动作条件的过程指标，并为策略学习提供多目标反馈。基于这个环境，开发了一个多时间尺度的演员-评论家优化器。它不使用单一的共享历史窗口，而是根据演员、评论家和替代环境的功能角色来分配时间信息。演员使用短期时间范围的信息进行参数生成，评论家使用中期到长期的过程记忆来评估决策并指导策略改进，替代环境使用增强的顺序状态进行多目标性能评估。

这种闭环设计允许参数决策既能考虑到近期的过程变化，也能考虑到多个研磨指标之间的长期上下文效应，同时减少优化过程中的重复物理尝试和错误。本研究的主要贡献总结如下。

(1)

提出了一种用于机器人研磨优化的状态增强替代环境。与主要使用学习到的替代模型作为直接最终指标评估器的替代辅助DRL方法不同，所提出的替代环境明确引入了中间过程响应的估计，用于状态增强和多目标反馈的生成。这种设计改进了用于虚拟性能评估和策略学习的环境侧信息。

(2)

开发了一种具有基于功能的时间分配的多时间尺度深度强化学习优化器。与使用单一共享时间范围的DRL设置不同，时间信息是根据参数生成、价值反馈和环境侧性能评估的角色来分配的。这种设计减少了演员、评论家和替代环境之间的时间不匹配。

在机器人研磨单元中验证了所提出的框架。结果表明，与代表性的基线方法相比，研磨指标的估计得到了改进，质量-效率平衡更好，物理参数推荐也更有效。

本文的其余部分组织如下。第2节回顾了关于机器人研磨优化、替代环境建模和基于强化学习的过程优化的研究。第3节将机器人研磨参数优化表述为一个受限的多目标顺序决策问题。第4节介绍了所提出的基于功能的MTS-DRL框架和替代环境建模策略。第5节报告了一个代表性的机器人研磨单元案例研究，包括替代模型评估、时间消融分析、DRL比较和实际研磨验证。第6节总结了本文。

章节摘录

相关工作

机器人研磨单元已被广泛用于复杂金属部件的自动化表面处理[13]。现有研究通过感知、力和轨迹补偿、材料去除建模、工具状态考虑以及自适应参数调整提高了过程适应性[[14], [15], [16]]。这些研究有助于特定机器人研磨任务中的轮廓控制、材料去除一致性和局部表面质量改进[17]。

问题表述

在机器人研磨单元中，每个研磨表面的参数推荐被表述为一个顺序决策问题，而不是一个孤立的参数设置任务。选定的参数动作决定了当前的研磨响应，并成为用于后续虚拟评估和策略学习的过程历史的一部分。优化目标是推荐满足表面质量和加工要求的机器人研磨参数。

提出的方法论

本节介绍了机器人研磨参数优化的提出方法论。首先介绍了该框架，然后是状态增强的替代环境和多时间尺度深度强化学习优化器。

在机器人研磨单元中的实验验证

在ADC12铝合金电池包端板上进行了机器人研磨实验，以验证所提出的状态增强替代环境和MTS-DRL优化框架。端板用于支撑电池模块，其表面质量与组装可靠性相关。如图5所示，实验单元由ROKAE NB25h-25/1.8工业机器人和SCF1020力控制研磨工具组成。收集的数据用于

结论

本研究提出了一种状态增强的替代环境和多时间尺度深度强化学习框架，用于机器人研磨参数优化。替代环境估计难以测量的中间过程响应，以丰富研磨状态表示，并通过多目标性能评估组件评估基于动作条件的研磨指标。基于这个环境，MTS-DRL优化器根据

写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了DeepSeek来提高句子的准确性。使用此工具/服务后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。

CRediT作者贡献声明

晏继红：写作——审阅与编辑、监督、资源管理、项目管理和资金获取。李瑞志：写作——初稿、可视化、验证、软件、方法论、调查、形式分析、数据管理、概念化。

Jihong Yan|Ruizhi Li