《International Journal of Production Economics》:Hybrid MILP-Deep Reinforcement Learning Approach for Reusable Container Flows in the Automotive Industry
编辑推荐:
在采用准时制(JIT)生产的汽车供应链中,二级注塑供应商面临需求波动大、可复用运输物品(Returnable Transport Items, RTIs/Reusable Transit Packaging, RTP)可用性受限的挑战,低效的RTI流转会导致成
在采用准时制(JIT)生产的汽车供应链中,二级注塑供应商面临需求波动大、可复用运输物品(Returnable Transport Items, RTIs/Reusable Transit Packaging, RTP)可用性受限的挑战,低效的RTI流转会导致成本上升、服务失败及不利环境影响。本研究针对二级塑料注塑供应商的生产调度与可复用容器(塑料周转箱)及一次性容器(纸箱)物流联合优化问题,提出一种融合混合整数线性规划(Mixed-Integer Linear Programming, MILP)与深度强化学习(Deep Reinforcement Learning, DRL)的新型混合方法。MILP组件建模详细运营决策,包括含模具切换(mold changeover)的生产排序、零件与容器(可复用及一次性)库存管理、明确的再装运(transshipment)操作,目标为最小化含CO2排放环境惩罚的总系统成本。DRL智能体学习自适应策略,在每个计划周期起始动态确定最优初始空可复用容器库存水平,并将该参数输入MILP模型。基于多种需求模式(平稳Stable、峰值Peaks、波动Volatile)合成算例的大量计算实验表明,MILP-DRL方法在获得竞争性总系统成本的同时显著减少服务等级失效(缺货backorder),并能有效权衡运营成本、缺货、再装运、CO2排放间的权衡关系。研究揭示了自适应学习型策略对RTI管理的价值,为二级供应商在严苛JIT环境中提升效率与可持续性提供实践指导。
论文解读:《Hybrid MILP-Deep Reinforcement Learning Approach for Reusable Container Flows in the Automotive Industry》——发表于《International Journal of Production Economics》
一、研究背景与问题提出
汽车产业广泛采用准时制(Just-in-Time, JIT)生产模式,要求零部件供应商精确同步生产与物流。二级注塑供应商(如生产车灯、内饰件的厂商)处于供应链较下游,受主机厂(OEM)通过一级供应商传递的需求波动影响显著,且对可复用运输物品(Returnable Transport Items, RTIs/Reusable Transit Packaging, RTP,即可复用塑料周转箱)的可用性与返还时效控制力弱。RTI数量有限且逆向物流返还存在延迟,当可复用容器不足时,供应商须临时启用一次性纸板容器盛装零件,待可复用容器返还后再进行再装箱(transshipment/repackaging),产生额外人工、时间及损件风险。此外,频繁模具切换(mold changeover)带来高额停机成本,生产排程与容器可用性紧密耦合。现有文献多关注第三方RTI池(pooling)、网络级库存路径问题(Inventory Routing Problem, IRP)或单买卖双方模型,常解耦车间层生产调度与RTI动态,假定稳定逆向流且未显式建模一次性容器的应急使用与再装运。因此,研究人员针对二级汽车JIT供应商场景,开展集成序列相关模具调度、可复用与一次性容器流转及再装运操作的联合优化研究。
二、关键技术方法
研究人员设计混合MILP-DRL框架:首先建立考虑多周期生产(含模具激活/停用与切换次数约束)、零件库存平衡、可复用塑料容器正向(填箱/发运)与反向(延时返还空箱)流转、一次性纸板容器采购与再装箱(transshipment)操作、最小/最大发运量、CO2排放惩罚的MILP数学模型,目标函数为最小化一级供应商容器购置与摊销成本、二级供应商生产/模具切换/纸板购买/再装箱人工/运输/存储/缺货成本及排放罚金之和。DRL部分将初始空可复用容器库存水平I0empty_RTI设为离散动作空间{5,10,15,20,25,30,35},状态向量含前期成本、上期I0、观测到的容器返还延迟、预测需求均值与标准差、期末库存、累计缺货、累计排放等归一化特征,奖励为MILP目标值的负缩放量(含超阈值排放附加惩罚),采用Double DQN配合优先经验回放(Prioritized Experience Replay, PER)训练。DRL每步选定I0传入MILP求解,MILP目标值与终端状态分别用于计算奖励与下一状态,形成序贯交互。算例基于校准参数按平稳(Stable)、带峰值(Peaks)、波动(Volatile)三种需求模式合成生成,以固定I0的静态策略{5~35}为基准对照,评价指标含总系统成本(Z)、总缺货量(BO)、累计CO2排放、再装箱次数及分项成本。MILP用Pyomo建模调用Gurobi求解,DRL基于TensorFlow/Keras实现。
三、研究结果
3.1 训练收敛性
DRL智能体训练1000回合(每回最多10步),平均回报随回合上升约400~500回后趋稳,训练批次损失(batch loss)快速下降后维持低位,表明策略学习收敛。
3.2 整体性能对比(DRL vs. 基线)
在三种需求模式下,MILP-DRL的平均总成本均具竞争力:Peaks模式下�262,216(接近最佳静态Static 30的�242,950且远优于低I0静态策略),Stable模式下�965,479(优于所有静态基线含最佳Static 30的�996,961),Volatile模式下�792,016(明显优于最佳静态Static 25的�873,178)。最关键的是,DRL在全部场景下取得最低平均总缺货量(Peaks: 16,006;Stable: 44,378;Volatile: 31,310),显著低于多数静态策略,证明其有效保障JIT服务等级。代价是DRL倾向于较高累计CO2排放与较多再装箱次数(因更灵活动用纸板容器作缓冲以防缺货)。
3.3 成本分解分析
各项成本表明缺货罚金是总系统成本主导成分。DRL相较可比静态策略(如Static 25)大幅降低缺货成本(Peaks: DRL �251,237 vs Static 25 �327,599;Stable与Volatile同理),虽伴随略高的纸板购买与再装箱(transshipment)成本及稍多排放,但因规避高额JIT缺货惩罚而获更优总体经济性;部分场景下DRL生产费用更低,反映其较好匹配生产量与容器可用/需求。
3.4 DRL智能体策略分析
策略可视化显示:当上期累计缺货较高(>约40,000件)时空可复用容器初值I0多选25~35只,以缓解服务失败;若上期空箱期末库存近零亦倾向选较高I0以补空箱缺口;低缺货时依据其他状态可选取较低I0。Peaks类实例即便缺货不高也可能预设较高I0,体现对预期需求尖峰的前瞻性应对。
3.5 敏感性分析
CO2罚阈值η从10提至20 kg CO2eq时,总成本和缺货量下降,但累计排放上升——说明过严排放惩罚限制代理灵活性致服务劣化,较宽松阈值改善经济性却增排放,η=20附近获较优平衡。初始学习率α在{10-4, 5×10-4}间波动对最终策略KPI影响甚微,表明训练稳定性良好。
3.6 计算性能
DRL每次调用MILP平均求解时约0.124 s,静态基线约0.014~0.020 s;单轮训练(1000 ep)约45~49 min(离线),训练后评估30个算例约50~55 s,满足周期性再决策(日/周)实用需求。
四、讨论与结论
研究人员得出结论:所提MILP-DRL混合方法能有效学习自适应空RTI初库存设定策略,在汽车JIT环境下联合优化含模具切换的生产排程与可复用/一次性容器流转(含再装箱操作),相比固定容器库存的静态政策,在波动与平稳需求下均获更低总系统成本,并显著降低JIT环境下代价高昂的缺货(backorder),其核心机制为DRL依系统状态(前期缺货、空箱残量、需求预测等)动态调整I0empty_RTI,必要时策略性使用一次性纸板容器与再装箱作弹性缓冲以规避更大缺货惩罚。环境—经济权衡可通过奖励函数中CO2阈值与排放权重调节。该方法将战略层容器水平决策(DRL)与战术/操作层精细排产及物流决策(MILP)解耦又耦合,为二级汽车供应商提供量化决策工具,亦可拓展至食品零售可复用周转筐、托盘池(pallet pooling)、电子/白色家电可复用载具等具闭环逆向物流与产能约束的场景。局限含基于合成算例、DRL动作空间暂限I0初值、环境项仅含运输段CO2未含清洗/报废全生命周期、需离线训练。未来方向含扩展动作空间(动态采购/共享池)、纳入全生命周期环境评价、采用多目标DRL或连续动作DRL(Deep Deterministic Policy Gradient, DDPG)、分层DRL及处理非平稳需求的定期再训练机制。