面向能耗成本的梯级浆体泵站协同调度：一种多智能体深度强化学习方法

《Journal of Water Process Engineering》：Energy-cost-aware cooperative scheduling for cascade slurry pumping stations: A multi-agent deep reinforcement learning approach

　　

**MAITD3 实现级联浆液泵站协同调度。**
**逆方差加权融合双评论家，采用蒙特卡洛 Dropout 不确定性。**
**硬安全投影强制满足流速和罐位约束。**
**五随机种子测试显示，相比人工操作，平均成本节省 6.43%。**
**对于最优调度方案，库存闭合等效节省仍为 6.58%–7.90%。**

**引言**

管道运输是继公路、铁路、水运和航空运输之后重要的散装物料运输方式。凭借大运输能力、连续运行、低运行成本以及较少的自然条件依赖等优势，它已成为矿山行业中精矿运输和资源利用的重要技术选择[1]。在地形复杂、运输基础设施有限的偏远矿区，长距离浆液管道通常需要多座串联泵站以提供足够压力。级联泵站系统由若干高功率泵组和中途搅拌罐组成，具有高能耗、强水力耦合和多重运行约束等特点。泵站的能耗占浆液运输系统总运行成本的一大部分[2]。然而，在许多实际应用中，泵站仍采用恒流规则或基于人工经验的调节方式运行。这类策略往往难以应对分时电价和站间动态耦合问题，导致运行成本高、频繁切换泵组，以及罐位或流速约束接近极限[3]。因此，长距离浆液管道中级联泵站的协同优化调度对于降低运行成本、提高运输安全和运行稳定性具有重要意义[4]。

级联泵站的调度本质上是一个涉及站间水力耦合、多重运行约束和多目标的复杂非线性优化问题。现有研究主要从模型构建和求解方法两个角度探讨这一问题[5]、[6]、[7]。在模型构建方面，早期研究主要聚焦于清水泵站或常规输水系统，目标包括最大化泵站系统效率[8]、最小化能耗[9]和降低碳排放[10]。例如，Zhang[7]和Ma等[11]建立了以最大化泵站效率为目标的优化调度模型；Liu等[10]提出了以碳排放最小化为目标的双层优化模型；Gong等[12]建立了泵站群日最小扬水成本的最优运行模型。这些研究为节能型泵站调度提供了重要基础。然而，大多数研究基于清水运输假设，未能充分考虑浆液流固液两相特性。与清水管道不同，浆液管道必须同时满足临界沉积流速下限和安全侵蚀流速上限。流速低于临界沉积阈值可能导致颗粒沉降和管道堵塞，而流速过高则会加速管壁侵蚀、缩短管道使用寿命[13]。此外，长距离级联泵站通过管道和中途搅拌罐动态耦合，上游站的排放流量影响下游搅拌罐液位，进而约束后续站点的可行调度空间。因此，仅基于单站优化或静态流量匹配的方法不足以反映级联浆液运输系统的动态运行特性，也未能充分利用搅拌罐在跨时负荷转移方面的缓冲能力[14]。

在求解方法方面，泵站调度经历了从数学规划、智能优化到深度强化学习的演进。线性编程[15]和动态规划[16]等传统方法具有强数学可解释性，但在面对高维状态空间和非线性约束时可能面临高计算复杂度。启发式算法，如遗传算法[17]和粒子群优化[18]，在一定程度上可提高搜索灵活性，但其性能对参数设置敏感，且可能陷入局部最优[19]。近年来，深度强化学习（DRL）凭借其端到端决策能力和对复杂非线性系统的近似能力，已被广泛应用于电力系统调度、能源管理和生产调度[20]、[21]、[22]。然而，直接将单智能体DRL应用于级联泵站调度可能导致高维状态-动作空间和站间协同表征不足。多智能体深度强化学习（MADRL）为多主体协同决策提供了有前景的方法[23]、[24]、[25]，并在能源优化[26]、[27]、微电网调度[28]、[29]和生产调度[30]、[31]、[32]中表现出令人鼓舞的性能。在水务领域，MADRL最近已被应用于配水网络中泵阀的实时协调[33]、融合历史运行数据的泵站调度[34]，以及物理信息驱动的城市供水泵站群多智能体调度[35]；近期的一篇综述进一步将多泵站协调确定为水务系统中MADRL群控的代表性场景[36]。更近期地，Wang等开发了一种代理模型辅助的多智能体注意力深度强化学习框架，用于取水站协同调度，证明了异构智能体协同在时间耦合约束和不确定水需求条件下实现节能泵调度的潜力[37]。尽管有这些进展，将现有MADRL方法应用于级联浆液泵站调度仍面临挑战。首先，完全独立的多智能体训练无法充分捕捉上下游站点的策略变化，可能导致环境非平稳性和站间策略冲突。其次，基于DDPG的多智能体算法（如MADDPG）可能在连续动作空间中遭受Q值高估问题[38]、[39]、[40]。TD3通过取双评论家的最小值来缓解高估问题；然而，当两个评论家存在较大估计偏差或相关性弱时，这种截断最小值操作可能引入过于保守的低估。对于涉及多智能体和强运行约束的级联泵站调度，Q值估计偏差可能进一步影响策略更新，降低协同学习的稳定性。不确定性感知价值估计已通过自举Q函数[41]、深度集成[42]和作为近似贝叶斯推断的蒙特卡洛Dropout[43]在强化学习中得到研究。这些研究表明，预测不确定性可以为价值估计和策略学习提供有用信息。然而，代表性的自举和集成方法通常需要引入多个价值函数头或额外估计器来表征不确定性，而MATD3已包含双中心评论家，其对相同状态-动作对的目标估计可能表现出不同程度的可靠性。在CTDE框架下，中心评论家评估联合状态-动作价值，同时多个智能体的策略同步更新，这增加了稳定价值估计的难度并可能扩大评论家分歧。在传统的截断最小值规则下，这种分歧直接转化为悲观的目标估计，可能加剧低估问题。这促使我们利用状态-动作依赖的预测不确定性来表征双目标评论家的相对可靠性，并自适应地融合其估计值，而非总是选择较小值。蒙特卡洛Dropout提供了一种在现有评论家网络中高效估计预测方差的手段，避免了构建额外中心评论家集成组的需要。此外，现有DRL调度研究通常将安全关键的流速和罐位限制作为软奖励惩罚来处理，其满足程度取决于训练收敛情况，缺乏运行时保证。最后，浆液泵站调度同时涉及连续流量调节和离散泵启停状态。若无适当的动作映射和约束处理机制，学习到的策略可能无法与实际操作规则有效对齐。

总之，级联浆液泵站协同优化调度仍需要解决以下问题。第一，调度模型应同时捕获浆液流速限制、搅拌罐液位约束和站间流量-液位动态耦合。第二，多站决策框架应平衡中心训练的信息优势与分布式执行的工程需求。第三，应减轻多智能体连续控制中的Q值估计偏差，以提高策略学习稳定性。第四，连续流量指令应与离散泵运行状态有效关联，且安全关键约束应在执行时通过构造方式满足，而非仅通过惩罚鼓励。

针对这些挑战，本研究提出一种多智能体改进TD3方法，称为MAITD3，用于级联浆液泵站的协同调度。主要贡献总结如下。

（1）建立了级联浆液泵站的物理约束调度模型，整合了站间流量-液位耦合、浆液流速限制、搅拌罐动力学、泵运行约束、终端吞吐要求和终端库存管理。分时电价和泵切换被纳入优化目标，同时在经济评估中明确考虑了终端库存残余不平衡，以避免夸大短期成本节省。

（2）开发了基于CTDE的协同调度框架，每个泵站作为独立智能体。中心评论家利用全局状态和联合动作信息在训练阶段进行评估，而分布式演员在运行阶段根据局部观测生成站级流量指令。一个能量最优确定性解码规则将这些指令映射为可行的泵承诺和流量分配，并在执行前通过硬安全投影层强制执行流速和一阶罐位约束。

（3）为多智能体连续控制引入了可靠性感知目标Q值估计机制。使用蒙特卡洛Dropout估计双目标评论家的预测不确定性，并通过逆方差加权而非传统的截断最小值规则融合其目标值。该机制降低了高不确定性评论家估计的影响，缓解了评论家分歧显著时过于保守的目标估计问题。

（4）在一条工业四级铁矿精矿浆液管道上验证了所提方法，采用实测隔膜泵特性和五个独立随机种子。MAITD3与代表性DRL和MADRL基线在价值估计精度、收敛行为、运行成本、约束满足和计算效率方面进行了比较。进一步引入混合整数线性规划基准作为不同终端库存处理下的解质量独立参考。

本文余下部分组织如下：第2节考虑固液两相流约束和站间水力耦合，建立级联泵站的多目标调度模型。第3节介绍带方差加权目标Q值估计的MAITD3协同调度方法。第4节报告基于工业数据的实验验证和性能比较。第5节讨论所提方法的机理、适用性和局限性。第6节总结全文并提出未来研究方向。

**问题描述**

级联泵站系统由串联连接的W座泵站组成，如图1所示。各泵站通过运输管道和搅拌罐相连：浆液通过第一座泵站（PS1）的搅拌罐进入系统，经逐级加压运输，最终到达终端脱水厂。每座泵站配备多台并联运行的高压隔膜泵，站间搅拌罐提供……

**MAITD3 用于级联泵站协同调度**

本节在CTDE框架下介绍MAITD3方法。首先将调度问题建模为多智能体马尔可夫博弈。然后引入方差加权目标值估计器并将其扩展至多智能体场景。最后为级联泵站设计状态空间、动作空间和奖励函数，并采用确定性解码规则和硬安全层以确保结构和安全关键约束通过构造方式满足，在……

**实验设置**

所提方法在一条工业长距离铁矿精矿浆液管道上进行评估，该管道由四座级联泵站组成（W = 4），总长184.4 km；各段长度为12.5、54.5、47.5和69.9 km（图4）。每座泵站配备三台高压隔膜泵（Np = 3），单泵允许流量范围为[22.5, 150] m3/h。单泵功率和效率特性曲线从实测运行数据拟合得出，P(q) = 0.0074q2……

**讨论**

结果表明，MAITD3的性能源于可靠性感知价值估计与基于CTDE的协同学习的综合作用。在传统MATD3中，截断最小值算子抑制了高估，但在双评论家分歧时可能过于悲观。MAITD3则利用蒙特卡洛Dropout估计目标评论家的预测不确定性，并通过逆方差加权调整其贡献。Q值评估……

**结论**

本研究提出了一种多智能体改进TD3算法（MAITD3），用于长距离级联浆液泵站的考虑能耗成本的协同调度。主要结论如下。

（1）通过纳入站间流量-液位耦合、浆液流速限制、搅拌罐动力学、泵运行约束、终端吞吐和终端库存管理，建立了物理约束调度框架。

一种确定性的泵解码机制以及一个完整的CRediT作者贡献声明

郭凯：撰写——原始草稿、验证、软件、方法学、数据整理、概念化。
马军：撰写——审阅与编辑、验证、监督、资源、获取资金、形式化分析。
吴建德：监督、获取资金。
熊鑫：监督、调查、数据整理。

利益冲突声明

作者声明，他们没有已知的任何可能影响本文报告工作的经济利益冲突或个人关系。

致谢

本研究得到了国家自然科学基金（批准号：62563018、62173168）以及云南省基础研究计划（批准号：202401AW070014）的资助。

郭凯目前就读于中国昆明理工大学计算机科学与技术学院，攻读博士学位。他的研究兴趣包括泵站调度优化、深度强化学习和设备健康管理。

郭凯 | 马军 | 吴建德 | 熊鑫