一种基于改进的Actor-Critic算法的集装箱船自动舱位优化方法

《Ocean Engineering》:An automated slot stowage optimization method for container ship based on improved Actor-Critic algorithm

【字体: 大 中 小 】 时间:2026年01月18日 来源:Ocean Engineering 5.5

编辑推荐:

  基于深度强化学习的集装箱配载优化方法研究提出了一种改进的Actor-Critic算法结合Pointer网络,解决混合规格集装箱(20英尺和40英尺)的配载优化问题,在满足船舶安全约束(如横向稳定性、强度平衡)的前提下,显著降低重配载率(较GRASP和人工规划提升26.8%),并通过实际船舶验证获得认证装载计算机的通过。该方法创新性地将卷积神经网络与LSTM结合提取时空特征,采用门控循环单元加速收敛,并引入掩码机制约束注意力范围,同时开发了真实的混合配载场景数据生成算法。实验表明该模型在计算效率(较传统方法提升3.2倍)和泛化能力(跨12种船型验证)方面具有显著优势,为智能航运提供了可扩展的解决方案。

  
陈杜 | 孙晓峰 | 刘春雷
大连海事大学航海学院,中国辽宁省大连市凌海路1号,邮编116026

摘要

集装箱船舶的舱位装载优化对于提高经济效益和确保航行安全至关重要。本文提出了一种基于深度强化学习的高效、稳健且具有通用性的舱位装载优化方法,该方法特别针对在严格适航性约束条件下20英尺和40英尺集装箱的混合装载问题。该问题被建模为一个马尔可夫决策过程,并作为序列优化任务进行表述,使用改进的Actor-Critic算法进行求解。所采用的Pointer网络进行了针对性优化:编码器使用卷积神经网络进行局部特征提取,长短期记忆网络用于序列建模;解码器采用门控循环单元以加速收敛;同时,一种掩码机制限制了对有效集装箱组的关注并减少了动作空间。我们开发了一种新的数据集生成算法,用于模拟真实的部分装载和混合装载场景。在实际集装箱船舶上的实验结果表明,与基于GRASP的模型和手动规划方法相比,所提出的方法在减少重新装载次数、横向稳定性和计算效率方面表现更优,并成功通过了认证装载计算机的验证。本研究为自动化装载规划提供了实用且可扩展的解决方案,有助于提升海上物流的运营安全性和效率。

引言

根据联合国贸易和发展会议的报告,全球超过80%的贸易通过船舶运输(UNCTAD,2022年),预计未来五年海上贸易将继续增长(UNCTAD,2023年)。由于大部分货物采用集装箱化运输(Ambrosino等人,2015年),集装箱贸易量持续增长,同时出现了向更大规模集装箱船舶发展的趋势。这一趋势显著增加了集装箱装载规划问题(CSPP)的复杂性。该问题严重影响了航运公司的经济效益,并对航行安全构成潜在威胁。因此,优化集装箱船舶的装载方式以兼顾安全和效率是海事领域的重要研究课题。
集装箱装载规划问题(CSPP)可以被描述为一个具有复杂约束的多目标组合优化问题。已经证明它属于NP难问题(Avriel等人,2000年;Botter和Brinati,1991年)。CSPP通常分为两个子问题:主舱位规划问题(MBPP)和舱位规划问题(SPP)(Wilson和Roach,2000年)。MBPP关注集装箱在各个舱位中的分布,而SPP则关注单个舱位或一组舱位内的复杂分配,需要严格遵守堆放规则、重量分布等操作约束。
随着时间的推移,针对CSPP及其子问题的研究不断进展,提出了多种方法来应对其复杂性。早期研究主要集中在精确算法上(Araujo等人,2016年;Cho,1982年;Jin和Mi,2019年;Shields,1984年),这些算法理论上可以保证最优解。然而,由于集装箱船舶规模的不断扩大和计算限制,实际应用中难以实时获得合理的装载计划(Bilican等人,2000年;Li等人,2018年)。随后开发了启发式算法(Ambrosino等人,2006年;Avriel等人,1998年;Junqueira等人,2022年;Korach等人,2020年;Parre?o-Torres等人,2021年;Sciomachen和Tanfani,2003年;Wang等人,2022年),以便在可接受的时间范围内生成高质量的计划。然而,这些方法往往依赖于预定义的规则和经验策略,这在特定情况下可能表现良好,但在面对大规模、动态和不确定的场景时适应性和泛化能力有限(Zhang等人,2015年)。近年来,深度强化学习(DRL)通过结合深度学习的感知能力和强化学习的决策能力,在解决组合优化问题方面展现出巨大潜力。研究人员采用了深度Q网络(DQN)(Shen等人,2017年)和近端策略优化(PPO)算法(Cho和Ku,2024年;Van Twiller等人,2023年)来处理CSPP,在计算效率上取得了显著突破。然而,DQN存在单一探索策略的问题,并且缺乏对环境的动态适应性(Sehgal等人,2024年),而PPO则限制了策略更新,导致收敛速度较慢(del Rio等人,2024年;Luo等人,2025年)。
除了现有方法在解决CSPP时存在的固有系统限制外,还存在对相关海事操作要求的约束简化问题。这包括对适航性约束以及20英尺和40英尺集装箱混合装载约束的考虑不足。对于SPP来说,这一问题尤为突出,因为它直接反映了最终的装载决策。根据(Van Twiller等人,2024年)的分类,本文进一步综合并深入分析了与SPP相关的研究,以更清晰地界定当前SPP领域内的知识空白。SPP研究的总结见表1。大多数SPP模型仅考虑一种集装箱类型,其对适航性约束的处理通常仅限于船舶稳定性(Stab.),忽略了强度、纵向和横向平衡等其他关键因素。在决策目标方面,最小化重新装载操作(MinRe)是广泛关注的重点。精确模型处理的问题规模通常较小(S),而基于启发式的方法通常能够处理中等到大型(M&L)规模的SPP实例。基于DRL的方法研究仍不成熟,因为现有研究主要针对单一集装箱类型,且很大程度上忽略了适航性约束。此外,即使在部分考虑了航行要求的文献模型中,其生成的装载计划也很少经过实际船舶装载计算机的验证以确认是否符合适航性约束。
Actor-Critic(AC)算法具有双网络结构,通过策略网络直接优化动作选择,同时通过价值网络评估策略,与纯策略梯度方法相比,提供了更好的学习稳定性和效率(Sehgal等人,2024年)。当与专为组合优化问题设计的Pointer网络(Vinyals等人,2015年)结合使用时,AC框架在旅行商问题(TSP)(Bello等人,2016年)和排列流水线问题(PFSP)(Pan等人,2020年)等任务中展现了良好的性能。这种组合本质上模拟了无替换的序列选择,非常适合像SPP这样的集合选择问题,并提供了一种灵活的机制来纳入复杂的约束,例如与集装箱类型和适航性相关的约束。
鉴于现有方法的局限性以及AC算法与Pointer网络结合的潜力,本文重点关注SPP,因为它直接反映了海事操作要求,并更接近最终的装载决策过程。我们提出了一种基于改进的AC算法的舱位装载优化模型,能够处理20英尺和40英尺集装箱的混合装载,同时遵守严格的适航性和操作约束。目的是探索该模型直接整合海事操作要求的能力,从而为未来开发全面的、适用于行业的集装箱船舶自动化装载系统奠定基础。在集装箱船舶向更大规模和更高运营效率发展的背景下,本文的研究具有重要意义,并显著推动了符合海事操作要求的自动装载规划方法的发展。
本文的结构如下:第2节将集装箱船舶装载优化问题建模为马尔可夫决策过程(MDP),并将其转化为序列优化问题。第3节详细阐述了使用改进的AC算法构建的舱位装载优化模型。第4节提出了生成集装箱数据集的实用算法,并描述了模型的训练过程。第5节对所提出的模型进行了全面分析和讨论,包括性能评估、方法比较以及在实际船舶上的验证。第6节总结了本文的主要工作和贡献,并展望了未来的研究方向。

部分内容摘录

问题描述

本文研究的SPP是在已经合理确定MBPP的基础上进行的。它专注于将集装箱分配到集装箱船舶每个舱位的合适舱位中,如图1(Design,2023年)所示。为确保安全和经济效益,考虑了以下主要因素:
1) 装载规则:不允许将20英尺集装箱放置在40英尺集装箱的顶部(20Top40);集装箱不能悬挂;总数量

基于AC算法的舱位装载优化模型

在本节中,我们提出了一个基于改进的AC算法的集装箱船舶舱位装载优化模型。Actor网络生成满足实际装载约束的集装箱分配序列,而Critic网络评估每个决策对整体装载效率和船舶适航性的长期影响。通过Actor和Critic之间的协同学习和策略优化,该模型实现了有效的多目标优化

数据集生成和模型训练过程

在本节中,开发了用于训练、测试和验证舱位装载优化模型的集装箱数据集生成算法。

案例分析和讨论

在本节中,我们首先使用第4.1节介绍的算法生成的数据集训练和测试了装载优化模型,从而验证了模型的鲁棒性、效率和泛化能力。随后,使用该模型对实际船舶的装载清单进行了装载。通过比较所提出模型、手动方法和基于GRASP的模型(Parre?o等人,2016年)生成的装载计划,验证了该模型的效率

结论

本文通过将SPP建模为MDP并利用改进的AC算法来解决它,开发了一个高效的集装箱装载优化模型。所提出的模型符合海事操作的实际要求。通过实验验证,该模型证明了其在不同集装箱类型和装载条件下生成高质量装载计划的能力,同时保持了强大的泛化和有效性。主要结论是

CRediT作者贡献声明

陈杜:写作 – 审稿与编辑,撰写原始草稿,验证,软件开发,方法论,形式分析,数据整理,概念化。孙晓峰:写作 – 审稿与编辑,监督,方法论,概念化。刘春雷:可视化,数据整理。

利益冲突声明

作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究工作。

致谢

作者衷心感谢中国国家重点研发计划(项目编号2022YFB4300803,2022YFB4301402)和中华人民共和国工业和信息化部(项目编号CBG3N21-3-3)的财政支持。作者还要特别感谢段雅婷女士在实现基于GRASP的装载模型方面所做的关键贡献,这一点在5.4.2节的方法论比较中得到了具体体现。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号