基于强化学习的可再生能源社区多阶段屋顶太阳能板投资决策支持系统

《Engineering Applications of Artificial Intelligence》：A reinforcement learning based decision support system for multi-stage rooftop solar panel investment in a renewable energy community

　　

摘要

本文研究了在新建可再生能源社区背景下屋顶太阳能板安装的问题。具体而言，我们考虑了一个多阶段、多投资人的场景，其中每个投资人都必须在规划期内决定要安装多少块屋顶太阳能板，同时社区终端用户的成员身份存在不确定性。我们将这种成员身份演变建模为马尔可夫链，并将投资决策问题表述为随机最优控制问题，其目标函数因非线性比例分配机制而产生耦合。随后，我们将该问题转化为部分可观测马尔可夫决策过程，并提出了一种基于强化学习的解决方案，该方案采用了策略梯度架构并结合参数共享。所提出的算法，称为优势演员-评论家+参数共享（A2C+PS），作为决策支持系统，利用局部观测信息作为输入，向投资人推荐应安装的屋顶太阳能板数量。我们利用基于真实家庭数据集构建的模型进行蒙特卡洛模拟，并将A2C+PS与独立优势演员-评论家（I-A2C）、多智能体优势演员-评论家（MA-A2C）以及基于规则的策略进行比较。统计上，基于A2C+PS的决策支持系统使得在规划期内收回投资成本的场景数量增加约15%，同时首次回本期缩短约3%。

引言

可再生能源社区（REC）代表了现代电力系统格局中的一种新兴范式，其核心在于最大化本地所产生的可再生能源的自消费。这不仅有助于减少对化石燃料驱动能源的依赖，同时也降低了相关的能源传输成本；从而实现更经济、更清洁的电力系统（Lowitzsch等，2020）。REC的概念也与国际能源署到2050年实现净零排放的目标相一致（IEA，2021）。诸如REPowerEU计划（European Commission，2022）等举措，其欧盟共同目标是在2025年前为每个拥有超过10,000人口的城市建立至少一个能源社区，突显了REC倡议在基层的实际推进。尽管管辖REC的立法可能因管辖区域而异，但根据可再生能源指令II（Directive (EU) 2018/2001）（2018），它们共享相同的统一主题。从一般角度来看，REC是一个法律实体，如协会或合作社，拥有可再生资源接入权和参与成员（自认REC成员的终端用户）。参与成员可以是住宅家庭、小型企业和当地政府或公共机构，他们可以自愿加入REC并须遵守REC的准则。REC的结构围绕"共享能源"的概念运作，这受REC内部可再生资源的自消费量影响。REC就共享能源获得额外激励，其中一部分随后分配给参与成员，帮助他们对抗能源贫困（Young和Vega，2024）。

这些发展构成了本文的核心动机，我们处理新建REC中的规划相关决策，如每个投资人在何时安装和/或安装多少屋顶太阳能板，以最大化规划期末的净利润。

围绕REC的最前沿研究主要涉及已投入运营的社区（即假设所有投资和安装决策已确定）的运营和管理阶段。特别是，该阶段专注于设计控制策略以最大化共享能源，同时确保成员之间的公平收入分配。在这方面，Moncecchi等（2020）提出了一种博弈论能源共享机制，并利用Shapley值公平分配激励。类似地，Casella等（2025）制定了一个双层优化程序用于REC的最优管理，社区管理者位于上层，成员位于下层。

较新的研究侧重于利用可控资产（通常是能源存储系统，ESS）的灵活性来最大化共享能源（Pasqui等，2025）。例如，Aittahar等（2023）为配有可控ESS的REC制定了开环最优控制问题，并以滚动时域方式求解。Musicò等（2024）提出了一种控制共享ESS的最优策略，在温和条件下，该策略被分解为单日的开环控制问题。不同于这些基于模型的方法，Palma等（2024）利用基于强化学习的控制器来增强社区的社会福利。

另一方面，围绕REC规划阶段（即确定可再生发电的投资和安装策略）的文献较少。最初的关于规模投资的研究方向采用了确定性优化方法，如混合整数规划（MIP）。在这些模型中，通常跨越十年或更长的长期规划期使用代表性曲线（如单日或单周）并配以适当缩放的成本进行近似（Kachhad等，2024）。然而，由于长期规划本质上涉及不确定性，较新的研究已转向随机优化。例如，De Bettin等（2025）利用了随机规划，而Zizzo（2024）提出了一种两阶段随机MIP。替代方法包括用于规模确定的联盟博弈论（Safdarian等，2021）和进化技术（Faria等，2023）。关于目标函数，前沿模型既考虑经济指标（如净利润）（Trevisan等，2022），也考虑多维社会-环境-经济标准（Mariuzzo等，2023）。此外，由于REC通常涉及多个利益相关方，资源与成本分配中的公平性概念变得越来越突出（Guedes等，2023）。

与正在进行的致力于部署多智能体系统来支持REC的研究工作相一致（Patrício等，2026），我们将一个住宅区建模为REC的候选站点。随后，我们提出了一种基于强化学习的决策支持系统，能够以完全去中心化的方式为投资人推荐在规划期内应安装的板数。本文相对于前沿研究的主要贡献可总结如下：

- 现有研究通常假设终端用户在初始时刻加入REC并在整个规划期内保持活跃。相反，我们假设终端用户可能在任何时间点加入/退出REC。这引入了REC规模及共享能源的不确定性，直接影响投资人的盈利能力。在实践中，忽视这种不确定性可能导致搁浅资产（相对于REC成员过度安装太阳能板），或反之导致错失收入机会（相对于REC成员安装不足）。

- 前沿研究主要假设安装/投资决策在初始时间步（即REC开始之前）做出或在安装寿命结束时做出。相反，我们假设安装/投资决策可在规划期内任何时间点做出。从实践角度来看，初始时间步的单阶段投资要求在REC参与度的未来演变尚不明确之前就承诺容量。相比之下，所提出的多阶段公式允许投资人采取"观望"策略，通过根据REC的实际演变调整容量来有效对冲不确定性。我们进一步假设有多个投资人，每个投资人都希望优化其净利润，从而使问题更加复杂。

- 就解决方案方法而言，基于优化的方法（确定性和随机）都需要预测外生变量（在我们的情况下是需求/可再生发电/消费者参与等）。作为替代方案，我们将问题建模为部分可观测马尔可夫决策过程，并利用演员-评论家架构结合参数共享。所提出的算法（A2C+PS）基于集中训练与分散执行范式，仅利用当前和历史信息来做出安装/投资决策。

本工作为投资人提供了一种实用工具，他们无需预先知道多少邻居会成为REC成员即可决定安装多少太阳能板。通过使用这种观望策略，他们可以减少投资在利用率不足设备上的风险。最终，这也可能通过支持装机容量与REC参与之间更有效的匹配而惠及终端用户。所提出的框架可转化为需要在知道总用户数之前建立社区基础设施的应用，这可能包括规划电动车充电站点或社区电池存储。在能源领域之外，同样的方法还可以帮助城市管理共享单车计划或帮助科技公司扩展数据中心，或物理设备需要与使用服务的用户增长速度同步的其他场景。

本文其余部分组织如下。第2节介绍REC相关方面的建模，将决策问题表述为随机最优控制问题，并提供使用强化学习的动机。第3节将决策问题转化为马尔可夫博弈，定义相关组件并提出A2C+PS算法，随后在第4节中进行数值模拟和比较研究。最后，我们在第5节中提供关键结论。

符号说明：?和??分别表示实数集和非负整数集。简写表达式min、max、mean、medi、std、ln和Pr分别表示最小值、最大值、均值、中位数、标准差、自然对数和概率。我们用$\mathbf{1}_T \in \mathbb{R}^T$表示所有元素为一的列向量，用$\mathbf{1}_T^\top$表示其转置向量。除特别说明外，所有向量均为列向量。在整个研究中，我们假设与时间、功率和能量相关的测量单位分别为小时（hr）、千瓦（kW）和千瓦时（kWh）。

正文片段

**系统描述**

我们考虑一个已连接到电网的现有住宅区作为REC的候选站点（见图1）。该住宅区由作为终端用户的家庭组成，每个家庭通过同一个次级变压器连接到电网。家庭从电网取电，通过各自的智能电表计量并由能源零售商计费。为了将现有住宅区转型为所谓的REC，我们关联……

**强化学习**

强化学习是一个有效的算法框架，通过智能体与环境之间的反复交互来学习序贯决策问题的控制策略（Sutton和Barto，2018）。该框架还扩展到多个智能体与共享环境交互的场景，即多智能体强化学习（MARL）。

**数值模拟**

我们现在展示使用真实电费及住宅家庭的需求/太阳能发电数据的模拟研究。所有这些曲线均以每小时为采样间隔，即Δt=1h，一天共T=24个时间点。模拟使用8核Intel i9-9700处理器（频率3.00 GHz，16 GB RAM）和MATLAB编程环境运行。

**结论与未来工作**

本工作将可再生能源社区中的多阶段屋顶太阳能投资问题建模为有限时域随机最优控制问题，并提出了一种参数共享的演员-评论家方法来在REC参与不确定的情况下学习去中心化的投资策略。使用真实数据集，我们证明了所提出的基于学习的方法能够有效适应不断演变的REC参与，同时相对于其他方法取得了有竞争力的性能。

CRediT作者贡献声明
Amit Joshi：撰写—审阅与编辑，撰写—原稿，可视化，验证，软件，方法学，调查，形式分析，数据整理，概念构思。
Luigi Glielmo：监督，撰写—审阅与编辑，资源，验证。

利益冲突声明
作者声明没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

致谢
本文的工作部分由PRIN 202228CTKY资助，项目名称为ECODREAM（能源社区管理：分布式算法与工具集用于高效可持续运行），以及项目GAMEL-电力博弈（编号F53C25001420001）。

Amit Joshi | Luigi Glielmo
那不勒斯费德里科二世大学电气与信息技术系，意大利那不勒斯80125