通过物理信息自适应动态规划增强可行性的电网交互式商业多能互补中心调度

《Sustainable Energy, Grids and Networks》：Feasibility-enhanced scheduling of grid-interactive commercial multi-energy hubs via physics-informed adaptive dynamic programming

　　

• 提出了一种用于综合园区能源系统调度的可行性增强型PINN-ADP框架。
• 归一化的电-热-冷残差引导Actor-Critic学习。
• 软物理惩罚在不主张硬可行性的前提下提升一致性。
• CNN-GRU-注意力机制预测提供多能源状态以供调度。
• 案例研究将成本降低了5.8%。

引言
商用建筑能源研究表明，实现建筑运营的脱碳需要需求侧和供给侧的协调能源管理策略[1]。数据中心和商用能源枢纽研究进一步表明，集成的电力、供热、供冷和储能资源是实现可持续能源系统运行的重要载体[2]。需求侧管理研究强调了柔性负荷在降低峰值需求和改善微电网运行方面的价值[3]。两阶段社区综合能源系统调度进一步表明，在协调运行中应同时考虑动态和静态能源特性[4]。

自适应动态规划（ADP）为长时程最优调度提供了一种基于学习的方法。对于并网交互型微电网，智能优化方法也已被用于在风电不确定性下满足电网代码要求[5]，这体现了协调可再生能源控制的重要性。从ADP的角度来看，Wang等人总结了近似价值函数和策略迭代在求解动态优化问题中的应用[33]，而Jiang和Jiang则为连续时间非线性系统建立了全局ADP理论[6]。在能源管理应用中，ADP已从单一能源设施扩展到社区和城市尺度的多能源协调。Ye等人[7]提出了一种基于动态规划的低碳调度方法，协调电力、供热和燃气以降低成本和排放。Xiong等人[8]将学习与规划相结合，开发了Dyna-ADHDP方法用于住宅能源调度。Kong等人[12]将动作依赖启发式动态规划应用于并联插电式混合动力电动汽车的能源管理，证明了动作依赖价值学习可以处理转换系统决策。Zhao和Yin[9]引入了知识可共享的自适应深度动态规划，用于高可再生能源系统的分层发电控制。对于多时间尺度调度，Xiong等人[10]采用动态规划公式来处理综合电热系统中的不确定性和时间耦合灵活性。Xue等人[11]提出了一种随机近似动态规划策略用于实时综合热电调度。Wei等人[30]研究了容差迭代ADP用于可再生能源家庭能源调度和电池管理，而Wei等人[31]开发了基于数据的ADP控制器用于冰蓄冷空调运行。Fu等人[35]进一步将目标导向启发式动态规划应用于具有智能停车场管理的虚拟能源枢纽，强调了HDP类策略在枢纽级调度中的相关性。

然而，将基于神经网络的ADP应用于综合园区能源系统调度时，仍存在一个重大瓶颈：满足物理约束的挑战。与ADP类方法并行，安全强化学习已被引入多能源系统的低碳调度中，在策略学习过程中显式约束物理可行性[24]。案例研究报告了在满足运行限制的同时大幅降低了能源和碳交易成本[24]。若缺乏显式的物理引导，学习到的ADP策略可能会产生违反能量平衡方程、设备容量限制或爬坡率约束的调度指令，从而导致不可行的运行点或系统安全性降低。物理信息神经网络（PINN）提供了一种有效的手段，将数据驱动和物理知识相结合。PINN将物理定律作为正则化项嵌入神经网络的损失函数中，引导学习过程不仅拟合数据，还符合物理原则[19]。这种方法鼓励优化过程产生更符合物理规律且具有可解释性的结果，尽管它本身并不构成硬可行性保证。为减轻"黑箱"强化学习/ADP的安全风险，研究人员已将物理先验嵌入基于学习的控制和调度框架中。例如，将功率平衡和支路流量限制集成到多智能体深度强化学习的奖励函数中，可以改善微电网运行中的物理一致性和可解释性[13]。在A3C的损失函数中添加能量守恒残差，可以同时改善需求响应微电网中的物理一致性和策略性能，并降低运行成本[14]。对于电网安全控制，GT-MADDPG方法将物理知识集成到多智能体深度强化学习算法中[15]。类似地，将流量Jacobian误差引入Critic损失有助于满足基尔霍夫一致性要求并减少风电弃风[16]。物理信息CNN还可以近似潮流和设备约束，实现与传统方法精度相当的快速微电网调度推理[17]。总体而言，在ADP训练过程中纳入关键物理残差可以改善约束一致性，减少不可行动作，同时不影响数据驱动策略学习的灵活性。

为明确所提出方法的位置，表1比较了代表性的可行性感知调度方法。数学规划和模型预测控制可以显式编码约束，但其可解性取决于模型线性化、整数变量处理和重复在线优化。标准ADP/DRL更适合快速策略推理，但当这些约束未在训练期间嵌入时，学习到的策略可能会违反能量平衡、设备边界或爬坡率约束。安全强化学习和约束强化学习通过约束策略学习或安全层改善了可行性[24]。物理信息CNN也被用作微电网经济调度的代理模型，表明物理方程可以正则化快速调度近似器，但此类方法主要关注监督或代理调度，而非ADP策略改进[23]。相比之下，本研究专注于用于综合园区能源系统调度的可行性增强型ADP控制器，其中归一化的耦合电、热、冷残差和设备边界惩罚被嵌入Critic价值评估中，而归一化残差、边界惩罚和爬坡率惩罚则引导Actor策略改进。

尽管物理约束带来了挑战，预测精度有限是能源调度优化中的另一个关键因素。综合园区能源系统的经济运行在很大程度上依赖于可再生能源（如光伏和风电）和多类型负荷（电力、供热和供冷）的精确预测[18]。在实践中，现有的预测模型存在较大误差且效率较低。预测误差会贯穿整个调度过程，显著影响最终的调度性能和经济结果。深度神经网络与ADP算法相结合以提高家庭能源管理中的预测精度和调度效率[39]。时空注意力网络被用于在复杂环境中获取可靠的负荷预测[20]。Yuan等人表明，基于自适应动态规划的家庭能源管理受益于预测与控制之间更紧密的集成，表明预测质量可以直接影响调度性能[21]。Guyot等人综述了神经网络在建筑能源系统中的应用，并强调了可靠的负荷和能源预测是下游能源管理决策的关键前提[22]。

表1中的比较阐明了本研究的贡献边界。预测模块不作为独立目标处理；相反，它提供了调度控制器所需的可再生能源发电和多能源负荷状态。主要贡献是可行性增强型PINN-ADP调度层，其中耦合的电、热、冷残差同时影响策略评估和策略改进。在此意义上，所提出的框架与通用的基于惩罚的神经网络不同：物理不一致的动作在学习过程中被分配更高的长期成本，这鼓励学习到的策略减少平衡残差、边界超出和爬坡率违规。

本文的主要贡献如下：

(a) 针对并网交互型综合园区能源系统提出了一种可行性增强型PINN-ADP调度框架。该框架将基于多神经网络融合的短期预测与基于ADP的策略学习相结合，使得可再生能源发电和多能源负荷预测直接进入用于调度决策的状态向量。

(b) 设计了一种物理信息多目标Actor-Critic损失函数。归一化的电、热、冷平衡残差和设备边界惩罚被嵌入Critic评估中，而Actor损失则进一步包含爬坡率惩罚以实现平滑的策略改进。该设计与后处理修复步骤不同，因为物理一致性影响策略本身的学习方向。

(c) 开发了一种基于动作价值的双Critic ADP结构用于综合园区能源系统调度。使用动作价值函数??(??,??)而非仅状态价值函数??(??)，并引入目标Critic以在耦合多能源动力学下稳定策略更新。

各章节摘要

符号说明
为清晰起见，本文中使用的主要符号、物理含义、单位和符号约定在表2和表3中总结。ADP动作价值函数表示为??(??,??)，以区别于热力/冷量功率变量??(??)。电网交互的符号约定为：购电时??grid(??) > 0，售电时??grid(??) < 0。对于电池储能，充电时??bs(??) ≥ 0，放电时??bs(??) < 0。对于蓄热装置，蓄热时??hs(??) ≥ 0。

多神经网络融合预测
如图2所示，所提出的调度框架以两个易于阅读的性子图呈现。图2(a)总结了预测到调度的信息流，包括可再生能源发电、多能源负荷和储能状态输入、Actor-Critic调度过程以及最终的调度输出。图2(b)进一步展示了物理信息Actor-Critic训练机制的放大图，其中TD损失、多能源平衡残差、边界惩罚和爬坡率惩罚被嵌入Critic损失中。

PINN-ADP算法
物理信息学习将物理残差或先验知识融入神经网络训练。Khalid等人综述了PINN的发展并描述了核心残差正则化机制，用于将控制方程嵌入学习模型[27]。Wu等人进一步综述了用于异常检测和状态监测的物理信息机器学习，强调了物理先验在提高数据驱动模型可解释性和一致性方面的作用[29]。在本文中，PINN-ADP框架将归一化的多能源平衡残差和边界惩罚嵌入ADP学习过程。

仿真算例
本文以工业园区中的综合园区能源系统作为案例研究以验证所提出的算法。该综合园区能源系统同时集成多种形式的能源，其拓扑结构如图1所示。本研究中使用了75个连续天的小时观测数据，涵盖电力、供热和供冷负荷以及气象因素（如温度、辐照度、风速等），用于模型训练和测试，并将结果输入用于模型评估。

鲁棒性和场景验证的范围
本验证使用了75天的小时数据集、完整的15天预测测试集、一个标准24小时调度算例以及一个预测输入压力测试。压力测试对多能源负荷预测施加±10%的扰动，对可再生能源发电预测施加±20%的扰动，为中等预测不确定性下的鲁棒性提供了额外的证据。然而，当前研究仍未涵盖所有可能的分布外条件，如设备故障、严重的电价尖峰、季节性负荷变化等。

结论
本文提出了一种用于并网交互型综合园区能源系统24小时调度的可行性增强型PINN-ADP框架。所提出的框架将基于多神经网络融合的短期预测与物理信息Actor-Critic ADP控制器相结合。MNNF模块提供预测的可再生能源发电和电力/供热/供冷负荷作为状态输入，而PINN-ADP控制器将归一化的电热冷平衡残差、设备边界惩罚和爬坡率惩罚嵌入其中。

CRediT作者贡献声明
张博宁：撰写-初稿、可视化、软件、方法论、形式分析、数据管理、概念化。张同：形式分析、数据管理。刘俊杰：撰写-审阅与编辑、验证、监督、软件、资源、项目管理、方法论。姬跃辉：撰写-审阅与编辑、验证、监督、资源、项目管理、方法论、资金获取、概念化。宋雨：验证、监督、软件。

利益冲突声明
作者声明不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。

张博宁 | 张同 | 刘俊杰 | 姬跃辉 | 宋雨 | 高强