基于深度强化学习的船舶管路综合路径设计方法

《International Journal of Naval Architecture and Ocean Engineering》：A comprehensive route design method based on deep reinforcement learning for ship pipeline

　　

船舶管路布线设计（Ship Pipeline Routing Design, SPRD）旨在通过考虑受限三维空间内的各种目标和约束来生成管路布局。鉴于空间复杂性和管路的大规模，设计过程困难、耗时且需要大量人工努力。对于多管路综合布线，传统方法主要采用结合路径搜索和协同优化的两步策略；然而，效率和优化都需要改进。研究人员提出了一种基于深度强化学习的船舶管路布线设计框架（deep reinforcement learning-based ship pipeline routing design, DRL-SPRD），该框架采用多个智能体独立感知环境并做出决策，每个智能体对应一条管路，以实现端到端的综合SPRD。该框架引入了一种架构，其中其他智能体的动作序列辅助协同设计，并通过顺序-交替决策模式实现多管路综合布线的智能设计。此外，为了解决传统基于网格的表示方法效率低下的问题，提出了一种结合先验拓扑信息的空间表示方法。该方法利用构建的拓扑关系替代固定步长选择，从而实现高效的空间表示。最后，通过对比实验验证了有效性和效率，随后使用实际工程案例验证了模型在复杂设计环境中的性能，结果表明该模型具有高度的可行性和先进性。

船舶管路布线设计（Ship Pipeline Routing Design, SPRD）是船舶详细设计的关键环节，环境复杂、设计范围大且对象差异显著，通常消耗约一半的设计时间。然而，现有方法在工程应用中面临三大研究空白：综合布线中的管路间交互、复杂约束的高效表示，以及大规模设计任务的求解效率。传统方法多采用两阶段策略（路径搜索与协同优化），但难以兼顾管路间耦合、优化空间受限，且网格表示法的计算复杂度随空间维度呈立方增长，而骨架化方法忽略空间体积信息，导致约束表示与效率难以平衡。为此，研究人员提出一种基于深度强化学习（deep reinforcement learning, DRL）的船舶管路综合布线方法（DRL-SPRD），并以发表于《International Journal of Naval Architecture and Ocean Engineering》的形式呈现。

研究人员开展的研究：将多管路综合布线转化为多智能体顺序-交替决策问题，每个智能体对应一条管路，独立感知环境并做出决策，通过引入其他智能体历史动作序列实现协同设计。同时，提出一种结合先验拓扑信息的网格化空间表示方法，形成“网格感知-拓扑决策”模型，以降低状态感知频率并提升求解效率。决策网络采用D3QN（结合双重DQN和决斗DQN的深度强化学习网络）架构，通过感知子网络（包括目标向量、3D卷积神经网络处理感知窗口、长短时记忆网络处理动作序列和位置序列）和决策子网络输出状态-动作值。动作空间为6个方向（x-y平面允许弯曲），采用自适应?-贪婪策略选择动作，奖励函数涵盖步数惩罚、任务完成奖励、贴壁、同系统复用、并行、成本（长度和弯头）、穿舱壁及最小弯曲半径等约束。模型训练分两阶段：基础模型训练（仅单智能体，使用历史设计案例为输入）和综合环境训练（多智能体顺序-交替决策，逐步替换为智能体生成布局）。训练环境初始化约12分43秒，总训练时间1784分钟，平均每轮约1分47秒，单步交互时间约1.63秒。实验在Python 3.12.4、Windows 11、Intel Core i7-12700K、NVIDIA GeForce RTX 2070、32GB RAM环境下进行，默认使用CUDA加速。

研究结果：

**Case 1.1 单管路**：在50×50×50立方空间含12个障碍物环境中，从(2,2,2)到(45,45,45)进行管路布线。DRL-SPRD在两种尺度下表现出不同的贴壁策略：小尺度下优先减少弯头数，大尺度下优先贴壁，符合实际成本逻辑。平均推理时间1.57~1.82秒，略高于基准方法（0.57~0.94秒），但解集有效性和稳定性相当。

**Case 1.2 分支管路**：在单系统内包含1条主管和2条支管，从(2,2,2)到三个目标点。DRL-SPRD通过引入同系统其他管路动作向量形成方向特征，结合系统复用奖励，实现方向收敛（优先沿X方向对齐），与基准方法相比，主管路径更优，总长度和弯头数一致。

**Case 1.3 多管路**：三组不同起点的布线任务。DRL-SPRD通过奖励函数设计，当并行距离合适时智能体转向建立相邻管路，但目标相距较远时放弃相邻以保持成本优势，实现并行设计与成本的权衡。

**Case 2.1 实际设计案例**：选取某LNG船舱室（含3个设备，其边界框坐标见表7），进行60条管路（15个系统）的综合布线。模型产生413个控制点，总长度253,011.25 mm，弯头183个；手动设计长度248,768.77 mm（+1.705%），弯头191个（-4.19%）。单步推理时间1.4~2.6秒，平均1.96秒，未随布线进程显著下降，而启发式算法单步时间从0.85秒升至82.78秒。环境构建时间13分29秒。跨场景泛化验证（两个不同舱室案例）显示，平均奖励差异11.73%，管路长度和弯头数与手动设计差异均在3%以内。

**Case 2.2 消融实验**：四组测试（D3QN、D3QN+Workflow、D3QN+Hybrid-Graph、Full方法）。引入Workflow（顺序-交替决策，考虑智能体交互）显著提升奖励（从167.2升至208.4），平均步数增加但路径更规则；引入Hybrid-Graph（网格-拓扑混合图）大幅减少平均步数（从213.88降至27.58），但每步时间略增；完整方法（Full）获得最高奖励（211.9），平均步数33.01，每步时间1.74秒。

**讨论部分**：总结了方法在三大核心目标上的优势。综合布线中的管路间交互：通过多智能体顺序-交替决策架构和相邻奖励函数，实现高质量协同设计。复杂约束高效表示：通过自定义奖励函数和能量场图（layout energy map, GE），实现比传统方法更灵活的过程约束表示。大规模设计任务的求解效率：“网格感知-拓扑决策”空间表示范式有效控制计算开销，D3QN决策模型直接基于环境感知矩阵生成决策，避免了启发式算法在决策空间受限时效率快速下降的问题。方法不依赖商用船舶设计软件核心模块，仅需集成管路数据、属性及船体结构、设备和约束空间的几何定义，工程适应性较强。但仍存在局限性：奖励函数设计与跨场景泛化耦合，通过确定性奖励函数强制工程约束会降低泛化能力；训练成本与决策性能的权衡（本模型训练需约1784分钟）。未来可通过迁移学习、建立SPRD评估指标体系和调整奖励系数来改进。

**结论部分翻译**：本文提出了一种基于深度强化学习的船舶管路布线设计方法。本研究的创新点如下：（1）提出了一种SPRD框架，将多管路综合布线设计转化为多个智能体在同一环境中独立执行路径搜索并交替决策的过程，实现了多管路布线的端到端智能设计；（2）系统定义了DRL方法下SPRD问题的相关设计要素，建立了一套标准的DRL-SPRD表达式；（3）提出了一种结合先验拓扑的网格化空间建模方法，形成了“网格感知-拓扑决策”的空间表示模型。通过简化相似空间区域的决策过程，降低了状态感知频率，提高了求解效率。为验证该方法的有效性，进行了两组案例研究（基准案例和实际案例），从有效性、稳定性和求解效率方面进行了系统讨论。在保持传统启发式算法有效性的同时，所提方法在复杂设计环境中表现出求解效率的高度稳定性，展示了其在复杂综合设计场景中的效率优势。