强化学习驱动的改进MOEA/D算法用于四向穿梭车仓储系统配置优化

《Applied Sciences》:Reinforcement-Learning-Driven Improved MOEA/D Algorithm for Configuration Optimization of Four-Way Shuttle Warehouse Systems

【字体: 大 中 小 】 时间:2026年08月29日 来源:Applied Sciences 2.5

编辑推荐:

  四向穿梭车仓储系统(FWSWS)作为一种高密度自动化仓储装备,具有高存储密度、高空间利用率与作业灵活性等特征。该仓储系统的初始配置受空间布局与设备资源约束,呈现出离散、强耦合与非线性特性。在求解此类复杂约束问题时,MOEA/D与NSGA-II等现有算法普遍存在

  
四向穿梭车仓储系统(FWSWS)作为一种高密度自动化仓储装备,具有高存储密度、高空间利用率与作业灵活性等特征。该仓储系统的初始配置受空间布局与设备资源约束,呈现出离散、强耦合与非线性特性。在求解此类复杂约束问题时,MOEA/D与NSGA-II等现有算法普遍存在约束处理能力不足、可行解搜索效率低下的问题。针对上述问题,研究人员提出融合强化学习与知识驱动策略的RL-IMOEA/D算法。该算法通过知识驱动的可行域修复机制增强可行解搜索能力,并利用Q-learning动态调节变邻域搜索(VNS)策略,从而提升帕累托(Pareto)解集的收敛性与多样性。实验结果表明,相较于其他优化算法,RL-IMOEA/D的平均超体积(HV)值达1.2068,较标准MOEA/D基线(1.1953)提升0.96%;其反向世代距离(IGD)值由0.1487降至0.0411。所提算法在收敛性、解集多样性及约束处理能力上均表现更优,所得配置方案满足容量与排队稳定性约束,验证了该算法在复杂离散优化问题中的有效性,为四向穿梭车仓储系统初始配置优化提供了有效求解途径。
研究背景方面,近年来四向穿梭车仓储系统(FWSWS)凭借层内运输灵活、跨巷道适应性强,成为高密度仓储主流方案;不同于传统自动仓储系统,其作业性能受仓库空间约束、物理干涉与高并发操作耦合影响显著。既有自动化仓储研究多聚焦储位分配、任务调度与路径优化,排队论虽被广泛用于离散事件系统的资源竞争与拥堵传播分析,但现有研究主要将排队模型用于后置性能评价,将其嵌入配置优化过程形成闭环评价的机制仍有限。在优化算法层面,NSGA-II与MOEA/D为求解多目标组合优化提供经典框架,但既有研究在FWSWS初始硬件配置上仍存在两点不足:一是排队性能指标很少被集成进配置优化以建立闭环评价机制;二是现有多目标算法在高度约束的硬件配置问题中易陷入局部搜索停滞,且常规局部搜索缺乏自学习与环境适应性。因此,如何在高度约束离散决策空间中高效搜索满足排队稳定性的可行配置方案,构成该研究的核心问题。
研究人员建立了融合三维空间干涉约束与M/G/c排队稳态约束的FWSWS多目标协同配置优化模型,并提出RL-IMOEA/D算法。该算法的方法论创新在于将Q-learning机制与领域知识驱动的启发式修复策略深度耦合:不同于将离散搜索空间视为黑箱的既有RL辅助进化算法,RL-IMOEA/D基于进化状态智能选择搜索算子,并利用不可行域映射函数主动修复违反M/G/c排队约束的致死解,显著提升对Pareto前沿的探索能力与收敛精度。论文发表于《Applied Sciences》。
主要关键技术方法上,研究人员构建五维离散决策变量向量表征排架行列层数、穿梭车与提升机数量;采用三段解耦串联M/G/c排队网络(穿梭车节点M/G/Ns、提升机节点M/G/Nl、拣选站节点M/G/Np)基于Allen–Cunneen近似计算期望订单完成周期;以Tchebycheff标量化处理双目标(建设成本与完成时间)并嵌入MOEA/D框架;设计知识驱动启发式修复(边界截断、容量优先调架、增设备复稳态、比率校正)处理整数映射后的不可行解;引入Q-learning将进化代次比离散为早中晚三态,对拥堵缓解、成本压缩、结构变异三类VNS算子做ε-greedy调度,以Tchebycheff标量变差为奖励更新Q表;并周期性监测外部存档稀疏度做自适应权重调整。案例基于合作企业零件线边仓(Lmax=40 m、Wmax=20 m、Hmax=12 m,Qdemand≥10000,λ=400 bins/h)在Python 3.9实现。
研究结果部分,系统概述中指出FWSWS采用单深配置消除货位迁移动干涉,出库含资源分配、层间转移路由、存取作业、返回交付四阶段;符号定义将货位映射为K(x,y,z),由设备运动学分段加减速模型推导穿梭车水平期望时间E(Ts)与提升机垂直期望时间E(Tl)。排队网络模型章节通过解耦假设给出穿梭车与提升机节点平均排队等待时间E(Ws)、E(Wl)及系统期望完成周期CTsys,并依ρs<1、ρl<1给出到达率λ物理上限。多目标模型章节确立决策变量X=[x1,x2,x3,x4,x5]T,目标F1为货架结构、设备采购与占地成本之和,F2为CTsys,约束涵盖储量、物理边界、穿梭车-提升机比Kratio及正整数属性。算法设计章节详述Tchebycheff分解、离散空间启发式修复顺序、Q-learning状态动作奖励与Q表时序差分更新及整体流程。实验仿真章节在30次独立运行中对比NSGA-II、NSGA-III、SPEA2、MOPSO与标准MOEA/D:RL-IMOEA/D平均HV=1.2068(较MOEA/D 1.1953提0.96%),平均IGD=0.0411(较MOEA/D 0.1487降约72.4%)。消融实验显示启发式修复主要压低IGD,Q-learning提速收敛,自适应权重提涨HV,三者互补。Pareto解集映射出成本-周期权衡,典型方案A(11×38×24层、4车1机,成本300.8万、周期193.8 s、ρl=0.95)偏成本;方案C(18车7机,成本576.8万、周期53.7 s、ρl=0.18)偏时效;方案B(12×35×24层、6车2机,成本404.3万、周期127.4 s、ρ=0.52–0.58)为膝点推荐配置。
讨论与结论翻译部分,研究人员指出:本研究面向物理空间约束与高并发下的FWSWS配置优化,建立融合三维离散映射与M/G/c排队网络的多目标模型,协同优化建设成本与订单完成周期;所提RL-IMOEA/D通过启发式约束修复、Q-learning驱动VNS与自适应权重调整,提升复杂离散约束下搜索能力与Pareto解质量;基于真实线边仓案例验证其在HV与IGD上的最优性,Pareto分析给出兼顾经济与时效的推荐配置。局限在于仅依赖单一工程案例(固定空间/容量/吞吐),且Pvns、Tweight等超参仍手动选定;未来将发展全自适应无参学习机制,并研究随机扰动下储位分配与动态任务调度的协同优化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号