基于晶体图卷积神经网络的强化学习方法在自适应造船厂模块运输调度中的应用

《Engineering Applications of Artificial Intelligence》：Crystal graph convolutional neural network-based reinforcement learning for adaptive shipyard block transportation scheduling

　　

韩胜宇|吴承宪|吴正勋

韩国首尔国立大学船舶与海洋工程系

摘要

作为船舶建造中的基本组装单元，船体块由于体积庞大和重量沉重，需要专门的运输工具进行运输。优化这些运输工具的调度对于确保生产按时完成和提高造船厂物流运营效率至关重要。因此，本研究提出了一种调度方法，旨在最小化运输延迟和空驶时间。尽管以往的研究主要集中在使用元启发式算法进行运输调度，但本研究引入了一种可扩展且动态的调度算法，该算法结合了强化学习与Crystal Graph Convolutional Neural Network（CGCNN）。CGCNN用于对带有边属性的图进行编码以表示状态，有效捕捉了每个位置的重要性。与现有的优先规则和元启发式算法相比，所提出的算法在各种问题分布下均表现出稳定且更优的性能，证明了其通用性。最后，通过使用真实造船厂运输数据进行仿真验证，证实了该算法的实际效率和适用性。

引言

在现代造船业中，采用模块化建造方法来提高生产效率。在这种方法中，造船厂首先制造出尺寸可控的模块（以下简称船体块或简称为块），然后在码头上将它们组装起来以完成船舶的建造（Zheng等人，2008年）。一块船体块是通过切割钢板并组装组件制成的，最终形成一个钢结构（Roh和Cha，2011年）。这些船体块的宽度通常超过15米，长度超过5米，重量超过100吨。由于体积庞大且重量沉重，无法使用叉车或传统起重机进行运输，因此需要使用专门设计的运输工具（Park等人，2007年）。

虽然块的数量和大小取决于船舶的类型和规模，但一艘船通常由大约200到250块组成（Park等人，2014年）。由于船舶是按订单制造的，因此每艘船所需的块类型也各不相同（Liu等人，2008年）。此外，大型造船厂同时建造多艘船舶，这增加了整体物流的复杂性。鉴于这些挑战，有限的运输工具和狭窄的道路使得制定一个既能减少运输瓶颈造成的延误又能缩短总行驶距离的高效运输计划变得至关重要。

运输工具是专门设计用于移动重型结构的设备，与传统车辆相比能耗显著更高。为了降低运输成本，制定一个能够减少总行驶时间的运营计划至关重要。特别是，由于块的起点和终点是固定的，因此减少空驶时间可以直接缩短总行驶时间。此外，造船厂会因船舶交付延迟而面临处罚。因此，在每个阶段保持生产计划至关重要。在高度变化的生产环境中，块运输的物流延误可能会扰乱整体计划，因此及时交付块变得至关重要。基于这些考虑，本研究定义了目标函数，以最小化运输工具的空驶时间和块的交付延迟，从而最终降低造船场的总体生产成本。

尽管已经进行了许多关于块运输调度的研究，但以往的研究主要集中在元启发式算法上，如遗传算法（GA）和蚁群优化（ACO），这些算法在问题规模增大时在计算速度和解决方案质量方面存在局限性（Brahim等人，2024年）。这些局限性对于需要实时识别环境变化并持续调整解决方案的自适应调度来说是一个挑战，尤其是在动态生产环境中。在实际的造船厂运营中，块准备或到达时间的波动以及运输工具故障等意外情况，都需要一个能够考虑实时物流条件的自适应算法。

本研究提出了一种基于深度强化学习的块运输调度算法，该算法对问题规模具有鲁棒性，并能够进行动态优化。所提出的算法将问题表述为图结构，并使用Crystal Graph Convolutional Neural Network（CGCNN）进行处理，并通过深度强化学习进行训练。与只能处理带有节点属性的图的传统图卷积网络（GCN）不同，CGCNN能够对带有边属性的图进行编码，通过减少节点数量同时高效处理信息（Xie和Grossman，2018年）。该算法在通用问题设置和基于造船厂环境的仿真中进行了测试，证明了其在可扩展性和实际适用性方面的鲁棒性。

本文的结构如下：第2节总结了相关组合优化问题和块运输调度方面的先前研究。第3节简要描述了问题及其数学表述。第4节详细介绍了所提出算法的结构，从图网络到深度强化学习。第5节在各种条件下评估了算法的性能。第6节基于真实造船厂环境评估了算法在工业环境中的适用性。最后，第7节总结了研究的主要发现并讨论了其局限性。

章节摘录

组合优化问题

块运输调度问题（BTSP），也称为运输工具调度问题，被归类为NP难组合优化问题，并被认为与多旅行商问题（mTSP）和并行机器调度问题（PMSP）有相似之处（Joo和Kim，2014年；Kim和Joo，2012年；Tao等人，2019年）。BTSP与车辆路径问题（VRP）有相似之处，但在某些方面与mTSP更为相关

问题定义

块运输调度问题是一个NP难组合优化问题，其目标是在给定约束条件下，确定每个块的运输和运输工具分配的最优顺序。本研究旨在制定一个最优调度方案，以最小化块的延迟和运输工具的空驶时间。块作为可运输单元，每个块都由起点和终点定义

建模

本节解释了本研究提出的算法。该算法开发了一个集中式的、完全可观察的网络，将下一个最优运输块分配给最先完成任务的运输工具。这种方法遵循Kim和Joo（2012年）提出的方法，该方法同时考虑了块运输的顺序和运输工具的分配。为了评估运输工具的调度，我们首先开发了一个离散事件仿真（DES），然后进行集成

实验

本节描述了所提出算法的数值实验并分析了相应的结果。

工业应用

使用韩国现代重工公司的实际造船场数据评估了所提出算法的适用性。问题基于两个月内的块运输记录构建，涵盖了24个地点。地点之间的运输时间是根据平均记录的行驶时间确定的。平均运输时间为32.23分钟，标准差为31.95分钟，最大值为126.3分钟，表明运输时间存在较大波动

结论

本研究提出了一种基于CGCNN的深度强化学习的动态且可扩展的块运输调度算法，解决了以往方法的局限性。与现有方法相比，所提出的算法表现出更优的性能，解决方案在同一分布的不同实例中显示出较低的标准差，证明了其稳定性。元启发式算法的超参数采用了以往研究的结果，可能会带来好处

CRediT作者贡献声明

韩胜宇：撰写——原始草稿，软件开发，形式分析，审阅与编辑，验证，方法论，数据整理。吴承宪：方法论，数据整理，形式分析。吴正勋：项目管理，监督，形式分析。

披露声明

作者未报告任何潜在的利益冲突。

利益冲突声明

作者声明以下财务利益/个人关系可能被视为潜在的利益冲突：吴正勋报告称得到了首尔国立大学海洋系统工程研究所的财务支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了（a）韩国贸易、工业和能源部（项目编号P0022929）、（b）韩国国家研究基金会（NRF）（由韩国政府资助，项目编号RS-2025-00555741）以及（c）首尔国立大学的海洋系统工程研究所的支持。