摘要
随着电力现货市场向市场化机制的转变，尤其是在中国的一些试点区域，针对风能-蓄电池混合系统的战略性 bidding （出价策略）变得越来越重要。然而，两个不确定性因素——风能发电的波动性和电价（LMPs）的瞬时波动——使市场参与者面临显著的财务风险。本研究开发了一个基于风险约束的强化学习框架，用于优化风能-储能混合系统的 bidding 方案。我们采用软演员-批评家（SAC）算法进行连续动作控制，并将条件风险价值（CVaR）纳入奖励设计中，以明确惩罚低概率、高损失的结果。该框架考虑了实际的运行限制，包括线性化的蓄电池衰减成本以及适用于每小时结算的市场化单一出价模式。利用一个 150 兆瓦风电场的多年历史运行数据（测试期为 91 天），我们发现与仅使用风能的情况相比，集成储能可以将年利润提高 108.4%-114.2%。关键的是，SAC-CVaR 策略（η = 0.35）在保持 97.3% 风险中性利润的同时（771 万美元对比 793 万美元），显著降低了下行风险：CVaR@95% 下降了 42.4%（-549 万美元对比 -952 万美元），VaR@95% 下降了 30.1%（-275 万美元对比 -393 万美元）。训练出的策略实现了亚毫秒级的决策速度（每个决策 0.262 毫秒，约 3820 次决策/秒），相比基于优化的算法（每个决策 10-15 秒）提速了 3.8 × 10^4 到 5.7 × 10^4 倍，从而实现了实时部署。行为分析表明，该算法能够学习出适应性的、基于预测的 bidding 策略；在高价格环境下采取更为保守的出价策略，并实施逆周期的蓄电池调度模式，有效平衡了盈利能力与风险控制。
