在拓扑结构和参数信息不完整的情况下，基于强化学习的水电系统电压控制方法

《Applied Energy》：Robust learning-enabled voltage control for water–electricity systems under incomplete topology and parameter information

　　摘要
水电耦合系统在能源与水资源的综合管理中起着关键作用，有助于提升资源利用效率及系统的抗干扰能力。然而，频繁的拓扑结构变化、通信中断以及时变的电气耦合关系会严重威胁电压稳定性。本文针对拓扑结构和参数信息不完整的情形，提出了一种统一的学习控制框架，旨在在提升电压稳定性和水利安全性的同时实现可靠的电压控制。该框架采用嵌套凸体追踪算法实现联合在线参数辨识，同时通过带有动态缓冲项的鲁棒模型预测控制器来补偿估算误差和外部干扰。在最坏情况下，通过约束违反的有限界限为方法的有效性提供理论保障。所提方法在由南加州爱迪生公司的56节点电力分配网络与15节点供水网络构成的耦合系统上进行了验证。仿真结果表明，即便在电网拓扑结构和供水网络参数完全未知的恶劣条件下，该方法仍能将系统整体电压维持在规定的安全范围内。在整个调度周期内，电压偏差的平均值仅为0.0322千伏，显著优于无控制策略及两阶段控制策略。与此同时，供水网络也未出现水头异常，平均水头安全裕度保持在16.679米。

引言
水电耦合系统是实现能源与水资源协同管理的关键基础设施，有助于提升区域资源利用效率，并增强电网与供水网络的抗风险能力。随着分布式能源资源（如基于逆变器的发电装置、能量存储设备以及可调节负载）的日益普及，构建更加可持续且经济高效的电力系统的可能性不断增大[1]。然而，这类能源的输出具有间歇性且变化迅速，通常在几秒到几分钟的时间尺度内波动，这给依赖缓慢机械开关装置的传统电压调控方式带来了挑战，使其在频繁的变化环境下难以正常工作[2]。此外，配电网络中较高的R/X比值、随机性的可再生能源输出以及电动汽车充电带来的不可预测负荷，都会导致电压不稳定，进而引发频繁且持续的过压或欠压现象，威胁系统安全并严重影响系统的动态稳定性[3][4]。在水电耦合系统中，这些电压问题还会与水力运行相互关联，因为泵的调度会直接影响电力需求，进而影响整个网络的电压分布。

在实际系统中，由于观测性受限以及拓扑结构频繁变动，往往难以获得准确且最新的系统模型。因此，当拓扑结构不确定或线路参数随时间变化时，控制性能就会下降；同样，若供水网络中的水力参数不准确，也会影响控制效果。对于电力分配网络而言，电力公司通常只能掌握其主网和/或次级网络以及相关线路阻抗的部分信息[5]。即便线路基础设施已知，当前的通电配置仍可能存在不确定性，因为开关状态的变化、故障修复操作以及网络重构往往无法及时反映在配电管理系统中[6]。由于无法全面掌握拓扑信息，基于精确拓扑结构的传统控制方法往往会失效或性能下降。因此，电压控制方法的设计必须具备对不完整拓扑信息的鲁棒性，才能在缺乏拓扑信息的情况下依然保持良好的控制效果。为解决上述问题，近年来出现了许多基于数据驱动的方法，用于在拓扑信息不全的情况下实现电压控制。这类方法避免使用不准确甚至错误的拓扑信息进行状态估计和电压控制，从而降低了模型精度差异对控制效果的负面影响[7][8][9][10]。不过，这类数据驱动方法通常需要大量的历史运行数据才能取得良好效果；而缺失或噪声较大的测量数据则可能降低模型辨识的精度，进而影响后续的控制决策[11]。

也有一些方法将拓扑估计与控制分开处理，首先通过数据驱动方法估算拓扑结构和参数信息，然后再基于这些估算结果进行电压控制[11][12][13]。但对于这类分离式方法而言，如果获得的拓扑信息不准确，控制器持续基于不准确的拓扑信息进行电压控制，则可能导致系统不稳定。目前仍缺乏一种能够仅依靠实时测量数据，无需离线标定或大量历史数据，即可同时实现在线辨识与协调控制的统一框架。

在供水网络中也存在类似的挑战，由于管道的老化、腐蚀、结垢或结构损坏，管道参数如粗糙度系数往往处于不确定状态[14]。虽然网络连接性通常是可以确定的，但精确的水力模型仍需标定，而在传感器数量有限且运行条件不断变化的背景下，标定工作仍然十分困难。现有的标定方法，包括基于奇异值分解的方法以及基于响应面的粗糙度标定方法，大多是为离线使用而设计的，且通常依赖于足够丰富的历史数据集[15][16]。近年来出现的在线水力估计算法，如基于非线性状态观测器的粗糙度标定方法以及基于扩展卡尔曼滤波的状态估计算法，虽然提升了系统的适应性，但仍然仅针对水力子系统本身，而非耦合电压控制[17][18]。因此，当前关于供水网络的研究在面对水力参数也不确定的情况时，难以为实时协调电压调控提供有效支持[19]。

近期的一些研究从不同角度探讨了水电耦合系统的协同运行问题。例如，有些研究将水泵或供水网络视为可调节的电气负载[20]，研究考虑不确定性因素的水能枢纽协同控制方法[21]，开发可再生能源微电网与供水系统的联合设计方法[1]，以及利用智能调度方法优化能源-水微电网的运行[22]。这些研究都表明，水电协同运行有助于降低运营成本、提高运行灵活性并增强系统抗风险能力。然而，现有研究大多依赖于精确的配电网络拓扑结构、线路参数或经过标定的水力模型。在实际运行中，由于开关操作、故障恢复以及网络重构等原因，配电网络拓扑结构可能并不完整或未能及时更新；而供水网络中的管道参数则可能因老化、腐蚀以及传感器检测能力有限而偏离其额定值。

随着水电耦合系统运行复杂性的增加，人们开始引入基于学习的方法来提升系统的实时决策能力。例如，深度强化学习被用于孤立型能源-水微电网的运行，其中供水系统被视为具有运行灵活性的虚拟储能资源[22]；机器学习模型也被用于孤立型水能微电网的经济调度，以简化复杂的优化模型并减轻在线计算负担[23]；此外，数据驱动方法也被应用于并网型水能微电网的经济调度与分布式能源管理[24]。在更广泛的综合能源系统中，线上数据流建模[25]、快速概率能量流分析[26]、多智能体强化学习[27]、耦合特征提取与多任务学习[28]、深度强化学习[29]以及图表示学习[30]等技术已被用于系统的建模、预测、调度及能源管理。不过，这些研究主要集中在经济运行、负荷预测、能量流计算或调度加速等方面，而对于在配电网络拓扑结构、线路参数以及供水网络管道参数均存在不确定性的情况下实现闭环安全控制的问题，仍缺乏足够的研究。

因此，目前仍缺乏一种能够在不完整信息条件下实现控制功能，并同时提供理论安全保障的统一框架。本文提出的统一学习控制框架能够在同一个闭环内同步完成电网拓扑识别、供水网络管道参数估算以及鲁棒控制决策。该框架能够在线估算不完整的拓扑结构和参数信息，并将这些估算结果直接纳入鲁棒模型预测控制算法中，从而避免了传统两阶段框架中辨识与控制分离所导致的估算误差问题，进而提升了电压与水头的安全性。为更清晰地体现所提方法与现有代表性研究的区别，表1总结了它们在不确定性来源、系统范围以及方法特性方面的主要差异。

在水电耦合系统中实现可靠的电压调控对于确保系统的安全与协同运行至关重要。这一任务面临着双重不确定性的严峻挑战：一方面是电力分配网络中未知或辨识错误的拓扑结构，另一方面是供水网络中未经标定或随时间变化的水力参数。现有的控制与辨识方法无法以统一、实时且具有理论保障的方式处理这些耦合不确定性。文献中特别指出了三个突出的缺陷：
(1)以往针对水电耦合系统的电压控制框架通常假设要么电网拓扑结构完全已知，要么供水网络参数完全已知，或者最多只考虑其中一个系统的不确定性。目前仍缺乏一种能够同时处理电网拓扑不确定性与供水网络参数不确定性的统一控制框架。当两个系统的信息部分或完全缺失时，这种局限性会导致系统无法安全稳定地运行。
(2)现有的辨识与控制策略通常分阶段实施。拓扑估计、参数标定和控制决策往往依次进行，而且许多数据驱动方法严重依赖离线训练或大量历史数据。这种分离式结构降低了系统在动态变化环境下的适应能力，还可能使估算误差直接传递到控制环节。因此，仍需要能够避免离线标定及大量历史数据依赖的实时联合辨识方法。
(3)尽管已有研究将鲁棒优化或机会约束优化方法应用于不确定的水电系统运行，但现有研究很少为在拓扑不确定性、水力参数不确定性以及外部干扰同时存在的情况下提供严格的有限步安全保障。尤其是在耦合实时控制领域，目前仍缺乏关于电压和水头偏差的有限最坏情况界限。因此，耦合实时控制的有限步安全性能在理论上仍未得到充分研究。

为弥补这些不足，本文提出了一种统一的全在线学习型鲁棒控制框架，用于在拓扑结构和参数信息不全的情况下实现水电耦合系统的电压调控。其主要贡献有三点：
(1)我们设计了一种全新的协同控制框架，能够同时考虑电网拓扑结构的不确定性以及供水网络管道参数的不确定性。这解决了现有研究的一个核心局限——它们通常假设一个或两个子系统是完全已知的——从而使得系统在信息不完整的情况下仍能安全稳定地运行。
(2)我们提出了一种数据驱动的嵌套凸体追踪算法，用于实时联合辨识电网拓扑结构与水力参数。该方法无需离线标定或精确模型，即可同步优化电网阻抗矩阵与管道阻力系数的不确定性集合，从而使得系统能够在运行条件不断变化的情况下实现参数的自适应学习。
(3)我们设计了一种改进型的鲁棒模型预测控制方案，通过加入动态鲁棒缓冲项来补偿估算误差和外部干扰。所提出的控制器能够协同调节有功功率和无功功率注入量以及水力控制措施，从而在耦合不确定性条件下保持电压与水头的安全性。此外，我们还给出了电压和水头偏差的有限上界，为系统提供最坏情况下的安全保障。

本文的其余结构如下：第2节建立了电力分配网络与供水网络的线性化数学模型；第3节详细介绍了所提出的基于在线学习的鲁棒控制框架，包括嵌套凸体追踪算法与鲁棒优化方法；第4节对系统的安全保障机制进行了严谨的理论分析；第5节展示了仿真结果并进行全面的对比分析；最后，第6节对全文进行总结。

模型部分
本节阐述了电力分配网络与供水网络的数学模型，这些模型为后续在信息不完整的条件下进行在线学习与控制设计提供了基础。对于电力分配网络，我们基于DistFlow方程推导出了线性化电压模型。对于供水网络，则通过应用Hazen–Williams公式并结合逐次线性逼近方法，得到了水力动力学的线性近似模型。这些模型的具体形式将在下文中详细介绍。

基于在线学习的水电耦合系统鲁棒控制
为应对电力分配网络与供水网络中拓扑结构和参数信息不完整的挑战，本节提出了一种基于在线学习的鲁棒控制框架。该框架能够实时联合估算电网阻抗矩阵与管道阻力参数，从而在系统信息不完整的情况下实现电压与水力的协同控制。

系统性能的理论保障
本节为所提出的基于在线学习的鲁棒控制策略提供了严谨的理论保障，这些策略适用于电网拓扑结构与供水网络参数均未知的情况。与以往主要针对单一系统的研究不同，本研究构建了一个专门针对水电耦合系统的统一性能分析框架。我们为耦合系统的动态行为建立了联合有限误差界限，并证明了即使在电网拓扑结构与水力参数存在不确定性的情况下，系统仍能保持安全运行。

案例研究
本节通过全面的数值仿真，验证了所提出的基于在线学习的鲁棒电压控制策略在面对拓扑结构与参数不确定性时的有效性。

结论
本文提出了一种鲁棒电压控制策略，旨在解决水电耦合系统中电网拓扑结构不完整以及供水网络参数存在不确定性所带来的问题。基于NCBC构建了一个统一的学习框架，该框架能够仅依靠实时运行数据即可联合在线识别电网拓扑结构和管道电阻系数。在此基础上，还开发了一种包含动态鲁棒缓冲项的强大模型预测控制器。CRediT作者贡献声明：张继成：撰写——初稿、验证、方法论、研究分析；陈佳佳：撰写——审阅与编辑、监督、形式分析、概念设计；杨德昌：撰写——审阅与编辑、形式分析；刘聪：撰写——审阅与编辑。利益冲突声明：作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。致谢：本研究得到了中国国家自然科学基金（52377110）的支持。张继成|陈佳佳|杨德昌|刘聪中国山东省淄博市255000，山东理工大学，新型电力分配与利用技术及设备山东省重点实验室