抽水蓄能：结构结果与求解算法

《Energy Economics》：Pumped hydro energy storage: Structural results and solution algorithms

　　我们研究了一种具有不确定流量和价格的抽水蓄能系统。该设施由两个相互连接的水库组成，这些水库具有自然流量。在价格正向的情况下，我们建立了一种状态依赖的阈值策略；当价格为负时，阈值规则指导策略近似算法的制定。这些算法能够以快至标准动态规划（DP）算法11倍的速度获得接近最优的解决方案。

引言
抽水蓄能（PHES）是最成熟的大规模储能技术，其历史可以追溯到19世纪90年代（DOE, 2023b）。最早的抽水蓄能设施是由国有电力公司安装的，用于支持基荷发电厂。由于环境和安全问题日益严重，大型基荷核能和化石燃料发电厂的受欢迎程度下降，抽水蓄能设施的扩张在20世纪90年代放缓。然而，随着电力市场放松管制以及间歇性可再生能源在发电中的比重增加，私人公司重新对抽水蓄能产生了兴趣（IHA, 2024b）。截至2024年，抽水蓄能占全球公用事业规模储能的90%以上，安装容量为179吉瓦（IHA, 2024a）。处于不同开发阶段的项目总管径容量达到214吉瓦（IHA, 2025a）。
抽水蓄能设施也被称为“水电池”，通常由两个具有高度差的水库组成；它以水力势能的形式储存能量（Kunzig, 2024）。在非高峰时段（即当过剩的能源供应导致电价较低时），操作者可以将水从下水库泵送到上水库进行储能。在高峰时段，操作者可以通过将水从上水库释放到下水库（在级联系统中甚至可以直接释放到河床）来发电。自然水流可能存在，并可以流入上水库或下水库。
根据特定的水文、地质和地形条件，抽水蓄能设施可以设计成不同的配置。它们通常分为两类：闭合循环和开放循环设施。闭合循环设施位于河流之外，两个水库都没有自然流量（DOE, 2023a）。例如爱尔兰的Turlough Hill设施、英国的Ffestiniog设施和加拿大的Marmora设施（IHA, 2025b）。相比之下，开放循环设施位于河流之内，两个水库都有连续的自然流量（DOE, 2023a）。目前运营中的许多抽水蓄能设施属于开放循环类别（Saulsbury, 2020, Blakers et al., 2021）。澳大利亚新南威尔士州的Tumut 3设施和德国Saale河沿岸的Bleiloch设施是具有自然流入上水库的例子（Blakers et al., 2021, Vattenfall, 2025a）。德国的Geesthacht和Goldisthal设施以及美国的Blenheim-Gilboa设施是具有自然流入下水库的例子（Vattenfall, 2025b, Vattenfall, 2025c, The Center for Land Use Interpretation, 2025）。开放循环设施还可以进一步分为两种类型：级联设施可以从两个水库释放水；非级联设施只能从上水库释放水。
闭合循环和开放循环抽水蓄能之间的区别不仅在于水文条件，还在于经济方面。在闭合循环设施中，系统中的总水量基本上是固定的；因此，短期运营问题主要集中在如何分配固定的储能资源用于抽水和发电之间。而在开放循环设施中，自然流量使得系统中的总水量具有随机性，当水库或释放能力达到极限时可能会产生溢出风险。因此，储存水的边际价值不仅取决于当前的电价，还取决于水的位置、每个水库未使用的容量，以及未来流量如何与当前的储能决策相互作用。这种经济差异促使我们建立了一个模型，该模型同时跟踪抽水蓄能设施中的总水量及其在上水库和下水库之间的分配。

我们研究了图1所示的通用抽水蓄能配置下的能源生产和储能问题。这种配置涵盖了所有先前讨论的设置和例子，包括许多实际观察到的抽水蓄能设施以及文献中研究的几种（Toufani et al., 2022a, Toufani et al., 2022b, Yurter et al., 2024）。在每个时间段，抽水蓄能运营商必须决定通过释放水库中的水来产生多少能量，通过将水泵送到上水库来储存多少能量，以及从市场购买或出售多少电力。我们将这个问题表述为一个马尔可夫决策过程（MDP），该过程通过内生状态变量来考虑水库水位动态，并通过外生状态变量来处理流量率和电价的不确定性。

尽管抽水蓄能在实际应用中得到了广泛使用，并且有关其运营规划的文献也非常丰富（参见Parker et al. 2019对储能系统的全面回顾和Toufani et al. 2023对不确定性下抽水蓄能的专门回顾），但描述开放循环抽水蓄能系统最优策略结构的文献仍然有限。Toufani et al. (2023) 按问题类型、抽水蓄能配置、不确定性范畴和解决方法对现有文献进行了分类，并指出许多文献依赖于随机规划方法。利用优化问题特定特性的结构结果仍然有限，特别是对于具有自然流入的开放循环配置。我们的研究为此类文献提供了这样的描述。
我们的贡献的第一部分是分析性的。当电价始终为正时，我们证明了最优价值函数在内生状态变量上是联合凹函数。这一结果导致了一种状态依赖的阈值策略来操作开放循环抽水蓄能设施。我们的MDP状态空间可以划分为三个不相交的域，每个域对应不同的最优行动类型：“泵水”、“释放”或“保持不变”。在每个域中，将抽水蓄能设施中的总水量和上水库中的水量调整到不同的状态依赖阈值水平是最优的。这些阈值反映了当前市场电价与储存水未来价值之间的权衡。对于“释放”决策而言，阈值水平高于“泵水”决策。虽然任何水库中的较高水位都会增加系统现金流，但在另一个水库的水位较低时，一个水库中的较高水位更为理想。此外，如果两个水库的释放能力相同，上水库中的较高水位比下水库更可取。

我们的贡献的第二部分是算法性的。当价格可能为负时，用于证明阈值特性的凹性论点可能不再适用。因此，我们开发了一种策略近似算法，作为启发式解决方案方法，将正值下确定的阈值结构嵌入到向后归纳框架中。该算法在正值状态下遵循推导出的策略结构，并在负值状态下使用相同的结构进行近似。在每个时段，它计算抽水蓄能设施和上水库中水量的状态依赖阈值水平，以指导能源生产和储存决策，从而降低计算复杂性。为了进一步提高效率，我们引入了一种变体，该变体使用与系统总水量无关的部分状态依赖阈值水平。我们对基准数据校准的示例进行数值实验，结果显示策略近似算法的解决方案与最优解的偏差最大为0.02%，并且比标准动态规划（DP）算法快11倍。该变体的解决方案与最优解的偏差平均仅为1.32%，并且比标准DP算法快28倍。

关于抽水蓄能设施运营规划的文献非常丰富。许多研究通过随机规划模型，在不确定性条件下（包括电价、负荷需求和/或可再生能源）推导出抽水蓄能设施的最优运营计划（参见Toufani et al. 2023）。最近，MDP也受到了关注。例如，L?hndorf et al. (2013) 优化了参与日前电力市场的抽水蓄能运营商的能源承诺和储存决策。他们为日内决策制定了多阶段随机程序，并为日内间决策制定了MDP，结合了随机对偶动态规划和近似动态规划方法。Toufani et al., 2022a, Toufani et al., 2022b 采用MDP公式来评估将级联水电站转换为抽水蓄能系统的短期现金流效益，并分别比较不同抽水蓄能配置的短期现金流表现。这两项研究没有描述最优策略的结构，而是依赖暴力优化来获得结果。这种方法由于解决方案时间过长而对实际应用有显著限制。Liu et al. (2022b) 探索了同时运营闭合循环抽水蓄能设施和风力发电场的电价制定者的调度政策，而Liu et al., 2022a) 则研究了生产税收抵免对运营同种混合系统的运营商的调度决策的影响。与这些研究不同，我们描述了开放循环抽水蓄能设施的最优策略结构。Steffen和Weber (2016) 使用连续时间最优控制来推导在确定性、时变电价下运行的抽水蓄能设施的高效运营程序，区分了具有约束性和非约束性水库约束的情况。我们的设置在三个关键方面有所不同：电价是随机的且可能为负；自然流入使得设施中的水量具有随机性；我们的抽水蓄能设施由两个具有潜在独立流量的相互连接的水库组成，因此需要两个内生状态变量而不是单一的储存水平。

抽水蓄能文献的另一个分支是从技术和灵活性角度来描述该设施，而不是从运营角度。Zhao et al. (2022) 开发了一个非线性模型，该模型结合了水泵-涡轮单元的水力、机械和电气损失，表明灵活运营（即单元负荷广泛变化以跟随可再生能源输出）会降低相对于设计点的转换效率。Zhao et al. (2024) 通过比较几种抽水蓄能技术（包括固定速度、可变速度、三元和四元配置）扩展了这一观点，并发现运营灵活性、转换效率和成本性能取决于单元配置。虽然这些研究表明设施的转换效率会随着其运行点和单元技术而波动，但我们为了保持结构分析的可处理性而忽略了这种依赖性，将系统效率视为常数。

由于闭合循环抽水蓄能设施可以被视为类似工业电池的电网规模储能系统，因此关于储能设施运营规划的文献也与我们的工作相关。在这些文献中，Zhou et al. (2019) 考虑了一个与工业电池共位的风力发电场，并将能源生产和储存问题建模为MDP。他们证明了在电价正向时部分状态依赖阈值策略的最优性。然而，我们的设置引入了额外的挑战：(i) 与总能量容量固定的电池不同（尽管储存水平动态变化），抽水蓄能设施受到自然流入任一水库和水从下水库释放的影响，因此作为一个具有可变能量容量的储能单元。(ii) 当自然流入超过水库容量或操作者泵送或释放过量的水时，水可能会从抽水蓄能设施溢出，从而影响损失的水量。(iii) 虽然(Zhou et al., 2019)通过单一内生状态变量跟踪能源储存，但我们的模型需要通过两个内生状态变量跟踪两个水库的水位。因此，与(Zhou et al., 2019)不同，我们通过识别最优价值函数的几个多维度属性来推导最优策略结构，包括次模性。最近，Karakoyun et al. (2026) 在Zhou et al. (2019)的设置基础上增加了提前一小时的能源承诺决策和上一个时期的承诺水平作为额外的状态变量。然而，他们的模型仍然假设电池具有固定的能量容量，忽略了外部效应，并且没有表现出次模性。在接下来的内容中，第2节将阐述问题，第3节将介绍最优策略结构。第4节将基于我们的结构结果构建启发式解决方法。第5节将描述嵌入到我们的MDP（马尔可夫决策过程）公式中的时间序列模型。第6节将展示价格可能为负数时的数值结果。第7节将提供总结和结论。分析结果的证明包含在附录中。

### 问题表述
运营问题可以被视为即时市场现金流与储存水资源的未来价值之间的重复权衡。释放水体会产生当前收入，抽水需要电力成本以增加未来的发电潜力，而保持水位稳定则能保护运营灵活性。在开环设施中，自然流入使得这种权衡取决于当前的水位：高水位会增加未来的溢流风险，而低水位则会限制运营者的能力。

### 结构分析
在本节中，我们确定了最优价值函数的几个结构特性，并利用这些特性来描述最优能源生产和储存策略的结构。我们首先假设在整个有限时间范围内电价都是严格正的。因此，本节中的分析结果适用于正电价情境。这些基础结果后来被整合到一个通用的DP（动态规划）算法中，使我们的解决方案框架得以应用。

### 启发式算法开发
阈值策略通常易于实现，并且在结合结构洞察的情况下，可以提供与最优策略相当的性能（例如，Nadar等人，2016年；Zhou等人，2019年；Karakoyun等人，2026年）。定理1证明了当电价始终为正时，阈值策略的最优性。我们现在通过将定理1中的策略结构 implement 到向后归纳算法中来开发一种启发式解决算法。

### 时间序列模型和离散化
为了在实际条件下评估所提出的算法，本节介绍了用于生成数据校准实例的时间序列模型和离散化方法。我们考虑的时间序列模型用于预测电价和流量，这些模型使用了来自纽约州的历史数据（第5.1节：电价的时间序列模型；第5.2节：流量的时间序列模型）。我们将这些时间序列模型嵌入到我们的MDP中。

### 数值实验
我们考虑了以下情况：规划期限覆盖1月、4月或8月的第一周（T=168小时）；上下垂直距离均为30米；PHES（pHES）设施是开环的，具有上游流量（rut≥0且rlt=0，对所有t）或下游流量（rut=0且rlt≥0，对所有t）；CU=CL=1000 MWh；CRu=CP=100 MWh；CRl=200 MWh；θ=0.88；ζa=20 MWh。这些参数值对于中小型PHES设施来说是现实的（Hayes, 2009; Catal?o, 2017; Kocaman和Modi, 2017）。

### 结论性 remarks
我们研究了在批发市场框架下开环PHES设施的能源生产和储存问题。通过将这个问题建模为MDP，我们描述了在假设电价在整个有限时间范围内为正时的最优策略结构。利用我们的结构结果，我们为允许价格为负的通用情况构建了两种策略近似算法作为启发式解决方法。数值实验揭示了……

### CRediT作者贡献声明
- Harun Avci：撰写——原始草稿，可视化，验证，软件，方法论，形式分析，数据整理。
- Ece Cigdem Karakoyun：撰写——原始草稿，可视化，验证，方法论，形式分析，数据整理。
- Ayse Selin Kocaman：撰写——原始草稿，监督，方法论，形式分析，概念化。
- Emre Nadar：撰写——原始草稿，监督，方法论，资金获取，形式分析，概念化。
- Parinaz Toufani：撰写——

### 引用
Porteus (2002)

### 致谢
本研究得到了土耳其科学技术研究委员会（TüB?TAK）[Grant 118M419]的支持。