基于强化学习的分散式能源系统调度：行动者-评论家方法与神经进化方法的直接比较

《Energy Conversion and Management-X》：Reinforcement learning-based dispatch for decentralized energy systems: Direct comparison of actor-critic method and neuroevolutionary approach

　　

分散式能源系统（DES）中的实时运行调度对于多部门集成至关重要。实践中广泛使用的基于规则的策略通常表现出次优性能，而基于模型的优化方法如模型预测控制（MPC）受限于繁重的在线计算需求和预测依赖。为克服这些限制，强化学习（RL）作为一种有前景的数据驱动替代方案出现，允许智能体通过直接环境交互学习自适应控制策略。在RL领域内，本研究系统性地比较了两种突出范式：神经进化方法（NEAT），它优化网络拓扑和参数但产生高计算训练成本；以及行动者-评论家方法（SAC），它利用离策略（off-policy）转移数据以获得优越的样本效率。该比较涉及三个主要方面：年度小时负荷曲线上的调度质量、训练与样本效率，以及环境设计对稳定学习的影响。在调度质量方面，SAC与确定性最优调度的运营成本偏差为7.10%，优于NEAT（7.42%）和基于规则的基线（13.43%和8.36%），但仍高于MPC（1.49%）。在单次运行训练工作量方面，SAC需要9.2 CPU小时，而NEAT需要6048 CPU小时，尽管该数据排除了一次性超参数搜索开销。由于对超参数高度敏感，识别最优SAC配置需要371次超参数优化试验，对应约3413 CPU小时。这一初始一次性投资对于基于梯度的智能体至关重要，而由此产生的策略提供了高效的实时调度能力。在方法论上，结果表明密集的每步奖励、物理信息回退规则、用于循环约束的重复模拟以及典型时段的上下文标记是基于梯度的稳定学习的关键先决条件。这些发现将SAC定位为分散式能源系统调度的一种有前景的方法，同时明确了部署所需的建模和调优假设。

分散式能源系统（DES）是实现多部门耦合与碳中和的关键，但其调度面临高维度和非线性互依的挑战。现有规则策略（RBC）虽鲁棒但灵活性不足，模型预测控制（MPC）则受限于在线计算与预测依赖。强化学习（RL）作为数据驱动替代方案，可自适应学习控制策略，但行动者-评论家方法与神经进化方法在DES调度中的直接比较尚属空白。本研究系统比较了软行动者-评论家（SAC）与神经进化增强拓扑（NEAT）两种范式，在代表性住宅小区（15户，基于德国汉诺威气象数据）的多能源系统模型上评估调度质量、训练效率及环境设计影响。研究表明，SAC在运营成本偏差（7.10%）上优于NEAT（7.42%）和规则基线（简单规则13.43%，高级规则8.36%），但弱于MPC（1.49%）；SAC单次训练仅需9.2 CPU小时，远低于NEAT的6048 CPU小时，但需371次超参数优化（共计约3413 CPU小时）。环境设计关键：密集每步奖励、物理信息回退规则、重复模拟处理循环约束、上下文标记（典型时段ID）是稳定梯度学习的前提。该研究发表于《Energy Conversion and Management-X》，为RL在DES中的实际部署提供了建模与调优指导。

研究人员采用的关键技术方法包括：基于Gymnasium库构建RL环境，通过功能样机接口（FMI）耦合能源系统模型；使用软行动者-评论家（SAC）和神经进化增强拓扑（NEAT）两种算法；利用时间序列聚合模块（TSAM）从年度数据中提取典型日（6个）；通过SMAC3贝叶斯优化框架对SAC进行超参数优化（371次试验）；使用粒子群优化（PSO）优化规则基线参数；使用IPOPT非线性求解器计算确定性最优调度（OD）和模型预测控制（MPC）基准。样本来源为模拟的住宅小区（15户）的年负荷与气象数据（汉诺威位置）。

研究结果部分：

4. 训练环境分析：通过对比6种配置（表1），识别梯度学习的关键先决条件。
4.1 训练配置概述与评估程序：以运营成本偏差（ΔJo）为指标，配置(6)（典型日+上下文标记+分布式奖励+回退规则+重复模拟）表现最佳，训练和测试数据偏差分别为8.07%和7.10%。
4.2 奖励工程与信用分配问题：稀疏奖励（配置1）导致训练数据偏差17.30%，远高于分布式奖励（配置6的8.07%），证明密集每步反馈对梯度批评家估计动作价值函数至关重要。
4.3 路径约束处理：惩罚方法（配置3）导致热平衡失效（训练偏差12.81%*），而物理信息回退规则（配置6）平滑了奖励景观，使智能体聚焦经济调度，但规则过严会限制探索。
4.4 上下文标记与时间感知：上下文标记与重复模拟的组合（配置6）显著优于无标记变体（配置2，偏差14.20%），且比全年度训练（配置4，偏差8.85%）在测试集上泛化更好（7.10%），因为重复模拟使智能体学习循环存储轨迹。
4.5 循环约束处理：重复模拟（配置6）通过连续状态传递自然收敛至循环稳态，优于端部惩罚（配置5，训练偏差9.99%），避免了稀疏信号和人工重置伪影。

5. 基准测试与比较性能分析：
5.1 性能比较：SAC测试偏差7.10%，NEAT 7.42%，简单规则13.43%，高级规则8.36%，MPC 1.49%。行为分析（图6）显示，SAC优先充电电池以吸收光伏盈余，更接近最优调度；NEAT优先热存储；规则策略未能充分利用存储灵活性。
5.2 计算工作量与样本效率：SAC单次训练9.2 CPU小时（1.2×10⁶环境步骤），NEAT需6048 CPU小时（20,736×10⁶环境步骤），但SAC需371次超参数优化（累计3413 CPU小时）。MPC无需训练但需在线优化（5典型日需10-30分钟）。SAC的离线训练优势在于部署后即时决策。

总结讨论部分：研究结论翻译如下——（1）性能与范式适用性：RL策略显著优于规则基线，SAC（7.10%偏差）和NEAT（7.42%）均超越简单规则（13.43%）和高级规则（8.36%），但MPC（1.49%）仍保持优势；SAC通过优先利用电存储更接近最优。（2）训练效率与样本效率：SAC单次训练（9.2 CPU小时）相比NEAT（6048 CPU小时）实现约650倍效率提升，但需注意HPO开销；SAC通过离策略数据重用解决了信用分配问题。（3）训练设计影响：梯度学习在DES中的三个关键先决条件——分布式每步奖励、物理信息回退规则、重复模拟与上下文标记。研究还指出局限性：SAC性能高度依赖大量HPO和工程调整；采用简化准静态模型，未考虑测量噪声、退化等现实挑战；政策鲁棒性需进一步验证。未来方向包括：研究HPO配置的跨系统迁移性、监督热启动加速SAC收敛、多目标优化（CO₂排放）、结合可解释AI（XAI）解码决策过程，以及整合季节性存储管理。