预制结构装配中机器人连接任务排序优化：一种障碍物感知的深度强化学习方法

《Advanced Engineering Informatics》：Optimizing robotic connection task sequencing in off-site structural assembly: an obstacle-aware deep reinforcement learning method

　　

提出了一种用于机器人连接任务的障碍物感知任务序列优化方法。将基于Dijkstra的行驶成本融入深度强化学习模型中。距离矩阵的预计算显著提高了训练效率。针对场外工厂布局中的机器人框架连接进行了计算验证。该方法在0.1秒内即可达到接近最优的结果，优于启发式方法。

**引言**

建筑业是经济发展和基础设施建设的重要推动力量，但长期以来一直面临诸多挑战，例如生产率停滞[1]、劳动力短缺[2]以及安全风险[3]。为此，建筑行业越来越多地转向更加工业化、自动化驱动的生产方式。一方面，制造业已充分证明机器人技术和自动化可以提高生产率、产品质量和工人安全[4]，为建筑业转型提供了有前景的方向。另一方面，场外预制提供了一条互补路径，通过将建筑构件的生产从不可控的施工现场环境转移到结构化的工厂环境中，从而更好地管理天气条件、工作空间布局、材料流和质量控制[5]。因此，机器人自动化与场外预制的结合已成为提高建筑过程效率和可靠性的一个重要研究方向[6]。

在场外预制中，结构装配是一个关键的生产阶段，通常涉及材料准备、构件定位和构件连接[7]。在这些操作中，如螺丝固定和钉合等连接任务因其重复性高且劳动密集，特别适合机器人自动化[5]。然而，连接任务在技术难度上仍高于构件拾放操作，因为连接任务需要精确的工具定位、可靠的工具-材料交互以及受控的紧固[8]。近年来，机器人在运动精度、感知、控制以及定制末端执行器设计方面的进步，越来越使机器人系统能够独立完成连接操作[9]，[10]。

基于这些技术进步，关键挑战已从实现机器人连接扩展到优化大量连接任务的执行顺序。在人工施工中，工人通常会自行做出特定任务级的规划决策，依赖于可用的现场信息以及工作准备和执行过程中的实际判断[11]。在机器人施工中，此类决策必须被显式规划，尤其是对于移动机械臂而言，因为它们超出了固定机器人工作站的有界工作空间，在更大的装配区域内执行分布式连接任务[12]。因此，有效的任务序列优化对于充分实现机器人连接系统的潜在生产率效益至关重要。

现有的机器人结构装配规划研究主要关注基于建筑逻辑的规则排序[13]、优先约束或可建造性约束[14]下生成可行序列，以及多智能体间的任务分配[15]。这些研究为机器人装配规划提供了有价值的理论基础，但未能充分解决场外结构装配中机器人连接操作的特定规划需求。在本研究考虑的场景中，结构框架在连接之前已定位在装配区域。这些框架连同任何其他静态障碍物或受限工作空间区域，都可能阻碍连接位置之间的直接通行，需要移动机械臂。这种设置对机器人连接任务规划提出了三个关键挑战。

首先，连接任务之间的行驶成本必须考虑障碍物，因为结构框架和净空区域可能阻挡直接移动，需要更长的无碰撞路径[16]。因此，期望路径规划算法能够估计障碍物感知的行驶距离，并支持机器人操作时间的预测。其次，移动机器人必须在工具容量约束下确定任务顺序，因为有限的钉枪弹匣容量可能在长时间连接操作中需要补充[17]。第三，机器人任务规划需要快速生成解决方案。然而，随着问题规模的增长，精确优化会变得计算成本高昂[18]。启发式方法通常更快，但对于大规模实例仍可能需要大量运行时间[19]，使这两种方法都不太适合机器人任务序列规划。

这些局限性促使了基于学习的路由方法的探索。与此同时，神经组合优化在解决路由问题方面取得了显著进展[20]。特别是，基于注意力的构造性深度强化学习方法在经典路由问题中表现出强劲的性能，通常产生比传统启发式更高质量的解决方案[21]，[22]。这些方法对机器人规划具有吸引力，因为一旦训练完成，它们可以以极少的推理时间生成解决方案。障碍物感知的路径规划是机器人导航和建筑自动化中一个成熟的组成部分[13]，[14]。然而，本研究采用的基于注意力的神经路由算法最初主要是在抽象的路由实例上开发和基准测试的，在这些实例中行驶成本直接源自欧几里得节点坐标[21]，[22]。这些模型如何有效地适应行驶成本源自障碍物感知路径规划的建筑机器人排序问题仍不清楚。此外，将图形处理器密集型的基于注意力的深度强化学习训练与中央处理器密集型的最短路径计算相结合，引入了一个实际计算挑战，必须在将这些方法应用于场外建筑场景之前予以解决。

为弥补这些差距，本研究开发了一种用于场外结构装配中机器人连接任务排序的障碍物感知基于注意力的深度强化学习框架。将机器人连接过程表述为类分割送货车辆路径问题（quasi-SDVRP）[23]。在该表述中，连接工具容量对应车辆容量，每个连接任务的需求对应客户需求，当任务需求无法在一次访问中完全满足时可以重新访问该任务。"类"（quasi）一词反映了传统车辆路径问题设置对机器人连接任务排序的适配。使用基于Dijkstra的路径规划算法[24]计算障碍物感知的距离矩阵，以捕捉任务位置之间的最短无碰撞行驶成本。该距离矩阵随后被整合到两个基于注意力的深度强化学习模型中，分别命名为AM-Dij和POMO-Dij，它们分别改编自注意力模型（AM）[21]和具有多最优策略优化（POMO）[22]。

具体而言，本研究旨在回答以下研究问题：

- 场外结构装配中的机器人连接任务排序如何表述，才能考虑分布式连接位置、工具容量与补充约束以及障碍物感知的机器人行驶？
- 如何在不过度增加模型训练计算成本的情况下，将基于Dijkstra的无碰撞行驶成本融入基于注意力的深度强化学习框架？
- 所提出的障碍物感知深度强化学习框架在解决方案质量和计算效率方面相对于精确和启发式基准求解器的表现如何？

本文其余部分组织如下。第2节回顾机器人连接操作和结构装配中的任务序列规划，并指出现有研究差距。第3节将问题表述为障碍物感知的类SDVRP，提出基于Dijkstra的距离矩阵和基于注意力的深度强化学习框架。第4节通过两个场外工厂案例研究评估所提出的方法。第5节讨论计算效率、实践意义和局限性。最后，第6节总结全文并概述未来研究方向。

**章节片段**

**结构装配中的机器人连接操作**

机器人系统的最新进展越来越多地推动了结构装配中自动化连接操作的发展。多项研究已探索使用集成末端执行器的固定机器人臂系统进行机器人连接。Wagner等人开发了一个灵活且可运输的机器人建筑平台，用于大型木结构装配[25]。该系统由两个固定机器人臂组成，其中一个主要负责元件的拾放，另一个负责执行连接操作。

**方法论**

本节提出了一种将基于Dijkstra的路径规划算法融入基于注意力的深度强化学习框架，以优化移动机械臂在场外结构装配中执行的机器人连接任务序列。本节分为五个子节，以全面描述所提出的框架。3.1节将建筑应用转化为数学表述，并将其描述为分割送货车辆路径问题的一个变体。

**案例研究评估**

本节通过两个案例研究评估所提出的障碍物感知深度强化学习框架，这两个案例代表了场外工厂环境中结构框架装配的机器人连接任务排序。案例研究旨在检验所提出的框架是否能够生成高质量的任务序列，同时考虑障碍物感知的行驶成本和工具容量约束。

本节其余部分组织如下。4.1节介绍整体实验设计。

**预计算与训练时间分析**

第3.4节引入的距离矩阵预计算对于使所提出的深度强化学习框架在计算上可行至关重要。在AM-Dij和POMO-Dij中，都需要基于Dijkstra的距离矩阵作为奖励计算的行驶成本输入。虽然可以在训练期间在线生成，但初步实验表明，这种方法造成了严重的计算瓶颈。

在AM-Dij训练期间，当距离矩阵在线逐批次生成时，每批次…（原文截断）

**结论**

本研究提出了一种用于优化场外结构装配中机器人连接任务序列的障碍物感知基于注意力的深度强化学习框架，并实现了两种算法：AM-Dij和POMO-Dij。受机器人连接操作日益可行的启发，本研究解决了在移动机械臂执行大量空间分布的连接任务时，工具容量约束下高效任务排序的需求。机器人连接…（原文截断）

**CRediT作者贡献声明**

Wang Yizhe：原创稿件撰写、可视化、验证、软件、方法论、调查研究、形式分析、概念化。

Zhang Cong：稿件审阅与编辑、概念化。

Fang Yihai：稿件审阅与编辑、监督、资源、项目管理、方法论、调查研究、资金获取、概念化。

**利益冲突声明**

作者声明以下财务利益/个人关系，可能被视为潜在利益冲突：Yihai Fang报告其获得了澳大利亚研究理事会的财务支持。若有其他作者，他们声明没有已知的可能影响本文所述工作的竞争性财务利益或个人关系。

**致谢**

本研究由澳大利亚研究理事会发现项目DP260102099资助。此处表达的观点属于作者本人，不一定代表澳大利亚政府或澳大利亚研究理事会的观点。作者感谢Monash eResearch提供M3高性能计算集群的访问权限以及本研究中使用的计算资源。

Wang Yizhe | Zhang Cong | Fang Yihai