《ENERGY CONVERSION AND MANAGEMENT》：A Deep Reinforcement learning approach for Profit-Maximizing and robust control of hybrid CSP-PV plants with Power-to-Heat integration
编辑推荐：
针对脱碳需求下可再生能源占比不断提高的形势，并网兼容解决方案需确保运行稳定性、可靠性与经济可行性。聚光太阳能-光伏（Concentrated Solar Power-Photovoltaic，CSP-PV）混合系统作为高可再生能源发电场景的可行路径受到关注。配
针对脱碳需求下可再生能源占比不断提高的形势，并网兼容解决方案需确保运行稳定性、可靠性与经济可行性。聚光太阳能-光伏（Concentrated Solar Power-Photovoltaic，CSP-PV）混合系统作为高可再生能源发电场景的可行路径受到关注。配备热能储存（Thermal Energy Storage，TES）的CSP电站可实现可调度运行并提高容量因子（Capacity Factor，CF），但相对较高的平准化能源成本（Levelized Cost of Energy，LCOE）限制了其竞争力。将光伏阵列与CSP共址可引入低成本的不可调度资产，以互补方式最大化太阳能资源利用并改善整体技术经济性能。进一步地，集成电加热（Power-to-Heat，P2H）单元——通常以电加热器（Electric Heater，EH）实现——可将多余光伏电力转入热能储存，从而降低平准化能源成本与弃电率，同时增加系统灵活性。关键研究挑战在于系统动态非线性行为下的能量流优化调度。基于模型的控制策略优化因变量众多、相互耦合及环境不确定性而变得复杂且必要，这促使研究人员探索无模型深度强化学习（Deep Reinforcement Learning，DRL）以实现鲁棒自适应控制。本工作将无模型强化学习（Reinforcement Learning，RL）扩展应用于混合CSP-PV电站运行策略，通过与高保真仿真环境交互直接学习调度策略。具体而言，RL智能体学习有效的电力调度决策，包括光伏电力优先输送至电网或电加热器、何时放热或保存热能储存、以及何时从电网购电供电加热器使用。研究目标是在确保可靠电站运行的同时最大化年度运行利润。研究人员采用近端策略优化（Proximal Policy Optimization，PPO）算法，在包含历史气象与市场数据（西班牙塞维利亚，2014—2023年训练数据）的仿真环境中训练智能体，并在未见的2024年基例及30个合成场景（含电价漂移、气候序列变化与电站配置变化）中评估其泛化性能。结果显示：智能体从零开始学习，无需预定义控制策略或规则；在电价、天气及电站规模分布偏移下保持鲁棒性；相比未使用预测的常规启发式调度，运行利润提高10%；与具有电价完美预见的基于价格的启发式策略相比，利润仅低2.5%，但可将发电单元启停次数降低29%。这些结果验证了DRL作为复杂可再生混合电站的模型预测控制或基于规则控制的实用且可扩展替代方案。
基于深度强化学习的混合光热-光伏电站与电加热集成系统利润最大化及鲁棒控制：研究解读
一、研究背景与问题
在全球脱碳目标推动下，高比例可再生能源并网要求系统具备运行稳定性、可靠性与经济可行性。混合聚光太阳能-光伏（CSP-PV）电站因结合了可调度的光热发电（配备热能储存，TES）与低成本的光伏发电而备受关注。进一步集成电加热（Power-to-Heat，P2H）单元，即电加热器（EH），可将多余光伏电力转为热能储存，提高系统灵活性与经济性。然而，这类多子系统强耦合、动态非线性的混合电站的优化调度极具挑战。现有方法主要分三类：一是启发式或规则基策略，虽计算高效但无法保证最优性、需针对具体场景调整且缺乏可靠性约束；二是数学规划方法如混合整数线性规划（MILP）和模型预测控制（MPC），往往依赖未来预报且计算复杂；三是考虑不确定性的随机优化或分布鲁棒优化，需对未来条件进行概率刻画并伴随较高计算负担。无模型强化学习（RL）可通过与仿真环境交互直接学习调度策略，无需对未来扰动的显式概率模型或预报，并能处理高保真复杂模型。然而，RL在混合CSP-PV电站运行调度中的应用仍属空白。为此，研究人员开展本研究，旨在利用无模型深度强化学习（DRL）实现混合CSP-PV电站的每小时协调调度，在最大化年度运行利润的同时保证可靠运行，并全面评估其相对规则基策略的竞争力。
二、研究内容与主要结论
研究人员构建了包含光伏阵列、太阳能场（SF）、TES、动力块（PB）和电网接口的混合CSP-PV电站高保真仿真环境，基于西班牙塞维利亚的历史气象与市场数据（2014—2023年训练，2024年及合成数据评估），将调度问题建模为马尔可夫决策过程（MDP），采用近端策略优化（PPO）算法训练智能体。智能体无需任何先验控制规则，从随机初始化策略出发，通过与仿真环境交互学习光伏调度（优先上网或优先充电）、TES放热、以及电网购电供电加热器三组离散控制动作。训练中随机采样EH容量倍率（0.15–0.7）和TES容量（8–16小时满负荷储能），以暴露于多样化电站设计；训练后针对基例（EH倍率0.42，TES容量12小时）和30个合成场景（电价扰动、气候序列变化和电站尺寸组合变化）进行全年评估。结果表明：智能体能够从零学习可行且稳定的调度策略，在高度随机环境下收敛于低变异性（CV=0.0768）；相比标准启发式策略HE1年度运行利润提高10%；相比具有24小时电价完美预见的启发式策略HE2利润仅低2.5%，但PB启动次数大幅减少13%（对比HE1）和29%（对比HE2），体现了经济与可靠性的平衡；在未见的电价分布偏移、气候异常及电站规模组合下均保持稳健性能。
三、主要关键技术方法
1. 高保真系统建模与仿真环境：采用Python集成SAM（System Advisor Model）与EBSILON工具，对光伏（单二极管模型+Sandia逆变器模型）、线性菲涅尔太阳能场（能量平衡动态模型）、双罐熔盐TES、再热蒸汽Rankine循环动力块（基于EBSILON离设计性能图）进行仿真，环境对RL智能体为黑箱。气象数据来自NREL国家太阳辐射数据库（塞维利亚），市场数据来自西班牙系统运营商e-SIOS现货市场。
2. 马尔可夫决策过程设计：状态空间包括TES荷电状态、TES温度、电力需求、电价、光伏比功率、太阳能场比功率、PB热状态、环境干球温度及设计参数窗口（无预报，仅历史12步窗口）；动作空间为离散控制变量（光伏调度0/1/2，TES开关，电网购电开关）；奖励函数由净运行利润（售电收入减购电成本与运维成本）和PB启动惩罚构成。
3. 近端策略优化算法：采用裁剪的PPO（actor-critic结构，actor为64×64，critic为128×64×64），广义优势估计（GAE），经验回放缓冲、熵正则化与梯度裁剪，经超参数调优稳定训练。
4. 训练与评估流程：训练20次独立运行（不同随机种子），选择最终回报最接近均值者；评估采用确定性策略推理（最高概率动作），基例与30个合成场景全年8760小时仿真。与两种启发式策略（HE1：无未来预见，按需求优先；HE2：具有24小时电价预见的基于价格阈值策略）对比，并设RL0（训练与评估同分布）作为上限参照。
四、研究结果
（1）智能体性能：训练中，智能体从随机策略快速提升回报，经历初始学习（0–800幕）、渐进改善（800–8000幕）和稳定收敛（>8000幕）三个阶段，最终均回报612.85±47.09（CV=0.0768）。训练过程中，电力出口提高69%，光伏弃电降低90%，EH购电从50 MWh降至5 MWh，利润由负转正至3200欧元，PB启动收敛至每幕11次（约1.5次/天）。评估中，智能体在未见数据上呈现一致的决策行为：优先光伏直接上网，仅在电价接近零或预期未来回报更优时转向EH充电；PB放电与电价高峰对齐，启动仅在经济收益足以覆盖惩罚时发生；EH主要利用低谷电价购电储能。动作概率分析表明TES动作高概率稳定，电网购电动作灵活依赖实时状态。
（2）与启发式策略对比：在基例中，RL智能体相比HE1利润提高约10%，同时显著减少EH低效购电和PB频繁启动；相比HE2利润低约2.5%，但PB启动次数大幅降低。在全部30个合成场景中，RL平均利润较HE1高108.1欧元（10%，p=0.00005，Wilcoxon检验），且83.87%场景优于HE1；PB启动每年平均减少51.12次（12.99%）。相较HE2，RL利润平均低49.04欧元（-2.49%），但PB启动每年减少139次（29.36%），并在100%场景中降低启动次数。RL的利润和启动差异与电价分布偏移距离（D_min^JS,pe）相关性弱，表明对电价分布变化不敏感。多目标分析显示RL占据低启动、高竞争力的有利区域，HE2则偏向更高利润但启动更多。
（3）技术指标：RL在基例中的容量因子（CF）为0.642，LCOE为0.102�/kWh；HE1 CF最高（0.741）但未经济优化，LCOE最低（0.092）；HE2 CF最低（0.616）且LCOE最高（0.108），反映激进利润导向。RL处于中间，平衡经济与运行性能。在全部场景均值上，RL CF=0.612±0.02，LCOE=0.103±0.004，与HE2接近，但启动次数远低。
五、讨论与结论
讨论部分指出，RL智能体通过奖励函数隐式权衡经济收益与运行可靠性，学习到比经典启发式更平滑的调度策略，显著减少热机械应力而不严重损害利润。相比具有价格预见的HE2，RL虽略逊于利润，但无需预报且大幅减少启停，在可再生能源电价高度随机且非平稳的现实环境下更具实用价值。研究结论部分强调：无模型DRL可在无先验规则下从零学习可行稳定策略；运行利润较标准启发式提高10%，与价格预见型启发式仅差2.5%；智能体内在学习缓解热/机械应力，PB启动减少13%（vs HE1）和29%（vs HE2）；对电价、气候和电站尺寸分布偏移表现出显著鲁棒性。这些结果验证了DRL作为模型预测或规则控制的实用可扩展替代方案。未来可扩展至连续动作空间、循环神经网络架构、或引入电池储能与风电等其他技术。
