不确定性下海岛能源管理创新：一种面向多维度韧性的风险感知闭环多智能体强化学习框架

《Journal of Innovation & Knowledge》：Innovating island energy management under uncertainty: a risk-aware closed-loop multi-agent reinforcement learning framework for multi-dimensional resilience

　　

可再生能源在岛屿电力系统中的日益集成引入了发电的显著不确定性，对能源管理的可靠性和经济性构成了挑战。为应对这些挑战，研究人员提出了一种基于模糊条件风险价值（CVaR）的多智能体强化学习（MARL）框架，旨在实现海岛电氢耦合系统（ECSs）中的风险感知运行决策。在该框架内，风电和光伏发电预测的不确定性采用梯形模糊数结合高斯Copula相关性进行表征。采用一种结合混合加权和Choquet积分聚合的多属性决策—CVaR方法来评估多维风险。该方法的一个关键创新是将CVaR引导的注意力机制集成到增强的MARL算法中，该机制在训练过程中将学习重点引导至高风险场景。基于真实海岛ECS的案例研究验证了所提框架的有效性，与传统MARL和鲁棒优化方法相比，展示了更快的收敛速度和更强的策略鲁棒性。这些结果表明，该框架能够支持不确定性下自适应、可解释且具有韧性的能源调度，从而为综合能源系统的智能管理提供新的方法论见解，并为可持续能源运营的创新提供可复制的模型。

在全球能源结构向清洁低碳转型的背景下，海岛电氢耦合系统（ECS，即整合风电、光伏、电解槽、氢储罐和燃料电池的系统）成为绿色能源转型的代表性场景。然而，海岛独特的地理和气候条件导致风电和光伏出力具有高度间歇性和不确定性，给系统运行管理的可靠性和经济性带来挑战。现有研究多采用传统优化算法，如鲁棒优化，但计算效率低且适应性差；多智能体强化学习（MARL）虽能实现分布式控制，但缺乏对尾风险的显式感知和多维度风险的协同评估。为此，研究人员开展了此项研究，提出一种基于模糊条件风险价值（CVaR）的MARL框架，通过集成风险感知机制，实现岛式ECS在不确定性下的自适应、韧性和可解释调度。该研究发表在《Journal of Innovation》上，为综合能源系统智能管理提供了新方法论，并为可持续能源运营创新提供了可复制模型。

研究人员采用的关键技术方法不超过250字：该方法首先利用梯形模糊数和高斯Copula生成风电和光伏预测误差的场景集，以表征相关不确定性；其次，通过熵权法-逐步加权评估比率分析（EWM-SWARA）混合加权和Choquet积分聚合，构建多属性决策—CVaR（MADM-CVaR）模型，量化多维风险；然后，将CVaR引导的注意力机制嵌入增强的多智能体双延迟深度确定性策略梯度（MATD3）算法，使智能体在训练中聚焦高风险场景；最后，采用外环滚动更新和内环在线自适应组成的双环滚动优化架构，实现实时风险反馈。样本队列来源为中国福建省某海岛的历史风电和光伏数据（15分钟间隔）。

研究结果如下：

**Training results**：通过对比MADDPG、MASAC、MAPPO三种基线算法，研究人员提出的MATD3算法在收敛速度、最终奖励值和训练稳定性上均表现更优，收敛集数约为800，后期波动更小。跨气候场景（热带型、温带型、高负荷波动型）的泛化性验证表明，该框架在不同气候条件下均能稳定收敛，其中热带型场景因高短期太阳波动需约1300集，温带型约500集。

**Typical day scenario**：选取典型日，设置不确定性权重因子ε=0.5，利用梯形模糊数和高斯Copula生成100个误差场景，EWM-SWARA方法确定主观权重。风险量化对比显示，与传统CVaR模型和确定性多维度CVaR（MD-CVaR）模型相比，研究人员提出的模糊CVaR-MADM模型更贴近实际损失曲线，在高风险时段（时间步40-50）能有效捕捉极端不确定性，低风险时段（时间步5-20）则紧密跟随观测波动。

**Profit results**：对比四种模型（鲁棒优化RO、标准MATD3、带模糊场景生成的MATD3、带模糊场景和CVaR注意力的MATD3），结果显示，所提模型（Model 4）在尾风险控制上表现最佳，平均CVaR_0.95为276.332 CNY，比标准MATD3降低12.8%；总利润为760.683 kCNY，略低于Model 3但风险收益比显著改善。计算时间方面，MARL方法约0.41s，远低于RO的0.8757s，且所提模型未增加在线计算负担。

**Typical-day management results**：典型日管理结果展示各设备的状态依赖调度策略：电池实施价格套利，氢子系统互补运行，高险时段（12:00-13:00）系统主动降低功率以增加灵活性。滞后相关性分析揭示储能设备间时标依赖的协调模式：电解槽（EL）与电池在2-4小时滞后呈负相关，燃料电池（FC）与电池从短期负相关转为中期正相关。注意力权重分布可视化显示，训练后期注意力集中到高风险场景，且权重与损失对齐，增强了可解释性。注意力-状态聚类分析表明，训练后聚类结构更紧凑，高风险样本对应净负荷正、SOC中低等的紧张状态。

**Sensitivity analysis**：基于Sobol指数的全局敏感性分析表明，系统风险主要由高阶交互效应驱动，天气变异性交互效应占比超65%。储能容量直接作用但交互效应显著。CVaR置信度β和风险平衡系数ε的敏感性实验显示，β临界值β^*=0.962，超过后CVaR增长加速，经济性下降；ε变化较温和。

总结讨论部分：研究人员在讨论中指出，所提框架在多种运行配置下均实现了显著的风险控制改进，表现出强可扩展性和鲁棒性。进一步分析表明，模糊CVaR驱动的注意力机制是框架的关键组成部分，持续贡献于改进风险敏感决策和降低尾风险暴露；双环滚动优化与CVaR风险嵌入的结合稳定了策略学习。研究结论翻译如下：本研究提出了一种用于岛式ECS能源管理的风险感知MARL框架。通过整合结构设计、功能协调和新的风险感知机制，该框架在多种运行配置下实现了显著的风险控制改进。结果表明，该框架在不确定性下具有强可扩展性和鲁棒性。具体而言，通过引入模糊CVaR驱动的注意力机制，所提方法相比标准MATD3方法将尾风险水平降低了12.8%。跨气候评估验证了该框架在异质运行环境下的适应性。当使用高变异性、强不确定性的热带气候数据训练时，模型约在1300集收敛；当使用生成模式相对平滑的温带气候数据训练时，约在500集内收敛。这些发现证实了其在多种气候和运行场景下ECS部署的适用性。进一步结果证明了所提模糊CVaR驱动注意力机制作为框架关键组件的有效性，持续改进风险敏感决策并降低尾风险暴露。双环滚动优化方案与CVaR风险嵌入（包括尾风险量化和分布感知优化）的集成进一步提升了整体性能，特别是在稳定策略学习方面。这些贡献展示了该框架在实现鲁棒、风险感知能源管理方面的有效性，为复杂ECS决策提供了可靠且可解释的解决方案。