基于强化学习的实时可再生能源竞价中电池容量优化方法研究

《IEEE Transactions on Energy Markets, Policy and Regulation》：Optimal Battery Sizing for Real-Time Renewable Energy Bidding Based on Reinforcement Learning

本文针对高比例可再生能源并网背景下，电池储能系统(BESS)的容量优化难题，提出了一种基于强化学习(RL)的协同优化框架。该方法将电池容量（Emax）作为设计变量直接集成到竞价策略的训练过程中，实现了投资决策与运营策略的高效协同优化。研究表明，该一针见血（one-shot）优化方法避免了传统双层优化中重复训练的计算负担，并能有效处理可再生能源出力（xt）和实时电价（λt）的不确定性。通过基于真实光伏（PV）数据和日本电力交易所（JEPX）市场数据的仿真验证，该方法能稳健地确定不同电池成本下的最优容量，为可再生能源生产商参与实时市场提供了计算高效且经济可行的规划工具。

　　

随着光伏（PV）、风电等波动性可再生能源（VRE）在电力系统中的渗透率不断提高，如何让这些“看天吃饭”的能源更好地融入电力市场，成了一个关键挑战。可再生能源生产者被期望积极参与市场，响应短期价格信号。然而，他们的出力具有天生的不确定性，在实时市场中提交的发电计划（即“投标”）与实际发电量之间难免出现偏差。这种偏差通常会受到市场规则的惩罚，从而侵蚀利润。

这时，电池储能系统（BESS）就像一位“全能助手”，它既能通过充电放电来弥补预测误差，避免惩罚，又能在电价低时充电、电价高时放电，进行能量套利，创造额外收入。但是，给这位“助手”配备多大的“能量包”（即电池容量）才最划算呢？容量太小，可能不足以平抑波动，频繁受罚；容量太大，则投资成本高昂，可能导致得不偿失。更复杂的是，电池的最佳容量与其日常如何操作（竞价和充放电策略）紧密相连，这是一个典型的涉及长期投资和短期运营的多尺度优化问题。再加上可再生能源出力和市场价格的双重不确定性，使得传统的优化方法往往计算成本极高或难以找到最优解。

在此背景下，一篇发表在《IEEE Transactions on Energy Markets, Policy and Regulation》上的论文提出了一种新颖的解决方案。研究人员巧妙地利用强化学习（RL）这一擅长在不确定环境中进行序列决策的人工智能方法，并将其扩展，创造性地实现了电池容量与竞价策略的“协同优化”。

为开展研究，作者构建了一个通用的实时市场模型，其中可再生能源生产者作为价格接受者参与市场。研究的关键技术方法包括：首先，将问题建模为部分可观测马尔可夫决策过程（POMDP），使用长短期记忆网络（LSTM）来处理可再生能源出力和电价序列的时序依赖性；其次，设计了四种不同的RL智能体架构（DQN-LSTM, DRQN, DDPG-LSTM, RDPG），从离散/连续动作空间和外部/内部集成LSTM两个维度进行比较；核心创新在于提出的协同优化算法，它将电池容量E_max视为一个可学习的随机参数，通过策略梯度方法将其与运营策略一起优化；此外，采用了分布式RL框架（类似Ape-X）来并行化经验收集，加速训练。仿真数据基于日本2022年JEPX真实电价和METPV-20提供的平均年太阳辐照度数据生成的PV出力 profile。

研究结果

不同RL智能体在固定电池容量下的性能比较

研究首先在固定电池容量下，比较了四种RL智能体的学习性能。结果显示，基于离散动作空间且内部集成LSTM的深度循环Q网络（DRQN）表现出最稳定的学习性能。而基于连续动作空间但外部集成LSTM的深度确定性策略梯度（DDPG-LSTM）方法虽然在某些容量下能获得更高的奖励，但训练过程波动较大，更容易失败。这表明，在处理这类具有部分观测性和复杂时序依赖性的问题时，DRQN在探索和稳定性方面具有优势，而DDPG-LSTM在表达精细控制动作方面潜力更大，但需要更精细的调参来保证收敛。

协同优化方法的有效性与效率验证

研究的核心是验证所提出的协同优化方法的有效性。作为对比，研究者先采用传统的双层优化方法，即针对一系列候选电池容量，分别训练最优的竞价策略（使用DRQN和DDPG-LSTM），然后评估其净收益（考虑运营利润和电池年化投资成本）。结果表明，最优电池容量随电池成本变化而变化，例如当电池成本为4000日元/(kWh·年)时，DRQN和DDPG-LSTM分别倾向于选择最大小时PV出力的40%和60%左右的容量。

随后，应用协同优化方法，让智能体在训练竞价策略的同时，学习最优的电池容量。结果显示，协同优化方法学习到的电池容量（μ）能够稳健地收敛到与传统方法确定的近似最优区间内。

在计算效率方面，虽然协同优化单次训练需要更多回合（约3000-5000回合），但由于它避免了针对大量候选容量进行重复训练，总计算成本比详尽的搜索方法降低了2-3倍，显示出明显的效率优势。

长期案例研究的可扩展性与适应性

为了检验方法在更长时间尺度和真实波动条件下的适用性，研究者使用了一整年（2022年）的真实数据进行仿真。他们选择了性能更稳定的DRQN作为代表智能体，并调整了部分参数（如降低不平衡惩罚系数α_pen至0.5，允许更激进的套利策略）。结果表明，协同优化方法学习到的电池容量（最大小时PV出力的95%）相较于一个固定的基准容量（50%），在全年的运营中带来了更高的总利润。分析还揭示了收益存在明显的季节性波动，夏季（如7月）由于电价波动大，套利机会多，收益最高，而秋季收益相对较低。优化后的电池容量在几乎所有月份都提升了盈利能力，证明了其全年适用的价值。

对具体运营策略的分析发现，智能体能够根据不同的市场条件和季节特征自适应地调整策略。例如，在7月，智能体倾向于在白天光伏大发导致低电价时充电，傍晚电价高时放电，进行有效的能量套利；而在10月，市场条件相对平稳，智能体则更侧重于最小化投标与实际调度功率之间的偏差。

结论与意义

本研究成功地将强化学习（RL）的应用从单纯的运营策略优化拓展到了系统设计领域，提出并验证了一个高效的、用于实时电力市场中可再生能源结合储能的协同优化框架。该方法的重大意义在于其“一体化”的优化思路：它将电池容量（E_max）这一长期投资决策变量直接嵌入到短期竞价策略的RL训练过程中，通过策略梯度更新电池容量的概率分布，从而在单个训练流程中同时优化设计和运营。这不仅避免了传统双层优化方法需要反复迭代、计算成本高的问题，而且通过RL框架自然地处理了可再生能源和市场价格的不确定性。

研究表明，该协同优化方法能够稳健地收敛到经济上合理的电池容量，其决策与详细的参数扫描结果一致，但计算效率显著提升。同时，基于LSTM的智能体（如DRQN）能够有效捕捉市场环境的时序动态，使运营策略适应不同季节的条件变化。这项工作为可再生能源生产商在复杂市场环境下的储能投资决策提供了一个强大的、数据驱动的计算工具。未来，该方法有望进一步应用于更复杂的市场环境（如高维投标、多市场联合参与）乃至电力系统的长期扩展规划问题中，展现出广阔的应用前景。