《Chemical Engineering Science》:Efficient Solution of the Two-Stage Stochastic Pooling Problem Using Piecewise Linear Neural Networks
编辑推荐:
混合问题是石油炼制、石油化工制造和废水处理中一项基础且具有经济关键性的优化挑战。其固有的非凸性源于双线性混合约束,使得全局优化在工业规模上难以计算。当扩展到两阶段随机设置时,由此产生的两阶段随机混合问题 (2SPP) 成为一个随机混合整数非线性规划 (MINL
混合问题是石油炼制、石油化工制造和废水处理中一项基础且具有经济关键性的优化挑战。其固有的非凸性源于双线性混合约束,使得全局优化在工业规模上难以计算。当扩展到两阶段随机设置时,由此产生的两阶段随机混合问题 (2SPP) 成为一个随机混合整数非线性规划 (MINLP),经典的分解方法如Benders分解因非凸递归函数违反了标准最优性割平面所依赖的凸性假设而不适用。本文提出了一种代理建模框架,在该框架中,离线训练深度ReLU神经网络以学习可行性偏向的蒙特卡洛样本,从而学习2SPP可行、近优采样解的利润分布,并将其精确的混合整数线性规划 (MILP) 重构直接嵌入Gurobi优化模型中。在一个包含三个来源、五个混合池和三个产品目标的问题中,嵌入代理的MILP在求解时达到了相对于嵌入代理的零最优性间隙,而非原始2SPP的全局最优性,在确定性情况和随机情况下分别在120秒和250秒内产生了高质量的候选解;相比之下,经典的非凸求解器在六个多小时后仍未能将其最优性间隙缩小至15%以下。SHAP (SHapley Additive exPlanations) 分析表明,代理模型已经内化了成本敏感性和两阶段问题的期望值结构。随后,代理引导的热启动程序在精确的双线性模型中验证了这些候选解,其中代理预测的一阶段二进制变量和流量被传递给Gurobi,在确定性和随机情况下分别耗时24分钟和45分钟。
研究背景与意义:混合问题是石油炼制、石油化工制造和废水处理等领域的关键优化挑战。该问题要求将多个原料流通过中间混合池路由至最终产品目标,且混合后的产品质量需满足严格规格。由于入流比例与流量乘积导致的固有双线性约束,该问题具有非凸性,使得全局优化极具计算挑战性。当引入离散决策变量(如是否建设混合池或管道)时,问题演变为混合整数非线性规划 (MINLP)。进一步考虑原料成本和产品需求等不确定性时,问题扩展为两阶段随机混合问题 (2SPP)。在2SPP中,由于第二阶段递归函数的非凸性,经典Benders分解等方法失效,标准最优性割平面可能会将全局最优的解从可行域中移除。此外,现有全局求解器在处理大规模随机实例时耗时呈指数级增长,难以在有效时间内求解。为解决上述问题,研究人员提出了一种代理辅助优化框架,离线训练深度ReLU神经网络来学习2SPP的利润分布,并将其精确重构为混合整数线性规划 (MILP) 嵌入Gurobi求解器。研究表明,该方法能显著缩短求解时间并产生高质量解。该成果发表在《Chemical Engineering Science》上,为解决工业规模非凸随机混合问题提供了高效且可验证的新范式,具有重要的工程应用价值。
关键技术方法:研究人员采用参数化蒙特卡洛方法生成大量可行性偏向的采样数据集(样本来自研究团队构建的包含三个来源、五个混合池和三个产品目标的基准网络)。利用SCIP求解器获取近优可行解作为训练标签。随后,构建包含四个隐藏层的深度ReLU神经网络作为代理模型,并采用ReLUMIP库将网络精确重构为MILP。在优化求解阶段,将嵌入代理模型的MILP输入Gurobi求解。最后,利用SHAP (SHapley Additive exPlanations) 分析特征重要性,并设计代理引导的热启动流程,将预测的一阶段二进制变量固定,连续流量作为初始解输入经典非凸混合整数二次约束规划 (MIQCP) 进行精确验证。
研究结果:
问题描述与实验设置:研究人员基于Gurobi基准池示例构建了扩展的拓扑网络,包含三个来源、五个混合池和三个副产品目标,并引入一阶段二元基础设施决策和两阶段随机结构。目标产品对密度、苯含量和研究法辛烷值 (RON) 有严格质量规格。实验分为确定性场景和包含三个需求-价格场景的随机场景。经典MIQCP在六小时时间限制内无法收敛,最优性间隙超过15%,验证了该问题的求解难度。
代理模型预测性能:通过测试集评估,确定性代理模型和随机代理模型均表现出色。确定性代理模型的决定系数 (R
2) 达到0.9739,平均绝对百分比误差 (MAPE) 为0.35%。随机代理模型面对161维的高维输入空间,R
2为0.8818,MAPE为0.56%。与线性回归和梯度提升树等基线模型相比,ReLU代理模型在捕捉由质量约束耦合双线性流引起的非线性结构方面具有显著优势。
经典MIQCP与嵌入代理的MILP对比:研究比较了保留双线性约束的经典非凸MIQCP与嵌入代理的MILP。经典MIQCP在确定性和随机情况下均未能在六小时内将间隙缩小至15%以下。而嵌入代理的MILP分别在约120秒和250秒内求解完毕,达到0%的MIP间隙。尽管代理预测的利润存在轻微的高估现象,这是由于最大化学习回归器时会偏向最乐观的区域,但其快速生成高质量候选解的能力远超经典求解器。
案例研究:经典MIQCP的代理引导热启动:为验证候选解的可行性,研究人员将代理预测的二进制变量固定,将预测流量作为MIP初始解提供给Gurobi。在确定性案例中,Gurobi在约24分钟内以0%间隙完成验证,得出约59万美元的利润;在随机案例中,耗时约45分钟,利润约58.7万美元。该流程在保留双线性物理约束的前提下,通过消除组合搜索层和提供高质量初始解,大幅缩短了精确求解时间。
通过SHAP进行特征重要性分析:研究利用SHAP值分解利润预测。在确定性代理中,高成本原料流具有负向贡献,而稀缺高质量原料流向受限目标时具有正向贡献。在随机代理中,概率权重为0.50的场景特征占据主导地位,表明模型内化了期望值结构。这些分析证实了代理模型学习到了符合经济学逻辑的结构,而非仅仅拟合统计伪影。
总结讨论与研究结论:研究人员提出了一种针对2SPP的代理辅助优化框架,通过离线训练深度ReLU神经网络并将其精确嵌入Gurobi MILP中,用全线性编码替代了经典MINLP中的双线性混合约束,同时保留了原有的线性运行约束。确定性和随机代理均表现出优异的预测性能。相较于Gurobi空间分支定界法求解经典MIQCP耗时六小时以上且最优性间隙超15%的情况,嵌入代理的MILP分别在约120秒和250秒内返回解,且这些解在代理框架内被证明达到全局最优。这些解作为高质量候选解,其真实目标值和质量可行性通过后续针对精确双线性模型的热启动验证得以确立。在固定代理预测的一阶段二进制变量并提供预测流量作为MIP初始解后,经典MIQCP在确定性和随机情况下分别约24分钟和45分钟内达到条件全局最优。对两个代理的SHAP分析表明,网络已内化经济相关结构:高成本原料流获得负向归因,稀缺高质量原料被用作提升质量的杠杆;在随机代理中,跨场景的SHAP幅度反映了期望值目标的概率权重。