基于多智能体强化学习(MARL)与离线数字孪生(ODT)技术的建筑光伏储能一体化系统集群分散式协同电力调度

《Buildings》：Decentralized Cooperative Power Dispatch Based on Multi-Agent Reinforcement Learning and Offline Digital Twin Technology for Building Integrated Photovoltaics and Energy Storage System Clusters

　　

在碳达峰与碳中和目标下，建筑集成光伏与储能系统集群（Building Integrated Photovoltaics and Energy Storage System Clusters, BIPECs）可实现可再生能源就地高效消纳，并可作为公共电网的调度单元。然而BIPECs面临显著的不确定性且尚处于发展阶段。研究人员提出一种耦合多智能体近端策略优化（Multi-Agent Proximal Policy Optimization, MAPPO）算法与离线数字孪生（Offline Digital Twin, ODT）技术的分散式协同电力调度模型，以在可用数据有限的情况下优化集群的光伏（Photovoltaic, PV）消纳。研究人员建立集成BIPEC能量系统模型，借助BIPEC多智能体系统（Multi-Agent System, MAS）模型将分散式调度问题转化为完全合作型多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）问题。仿真辅助的ODT框架为MAPPO构建数字环境以扩充数据、开展MAPPO训练并优化奖励函数，从而获取电力调度策略。结果表明，所提优化模型可获得体现高度协作性的调度策略，与非合作的自发自用（self-generating and self-using）策略相比，每月可减少公共电网累计供电量0.55–2.56%。本研究通过将MARL引入BIPECs，提出了建筑集群的分散式协同电力调度方法，提升了建筑能效并促进灵活的协同电力调度。

论文解读：基于多智能体强化学习与离线数字孪生技术的建筑光伏储能一体化系统集群分散式协同电力调度研究

【研究背景与意义】

在碳峰值与碳中和目标驱动下，分布式可再生能源特别是建筑集成光伏（Building Integrated Photovoltaics, BIPV）与就地储能系统（Energy Storage System, ESS）相结合形成的建筑光伏储能一体化单元（Building Integrated Photovoltaics and Energy Storage, BIPE），以及由多个BIPE组成的集群（BIPECs），可提升光伏就地消纳能力并参与配电网互动。现有集中式调度依赖全局信息且灵活性不足，而分散式控制在复杂多变场景下更具鲁棒性。多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MADRL）适用于多主体分散决策，但实际应用中面临训练环境失配、实测运行数据匮乏及安全隐患等问题。数字孪生（Digital Twin, DT）技术可通过构建虚拟空间映射物理系统实现数据增强与策略验证。鉴于BIPEC缺乏实测运行数据，研究人员采用离线数字孪生（Offline Digital Twin, ODT）模式，结合多智能体近端策略优化（Multi-Agent Proximal Policy Optimization, MAPPO）算法，构建分散式协同调度模型，以最小化公共电网累计供电量为目标，发表于《Buildings》。

【主要关键技术方法】

研究人员选取上海某酒店、商场及办公建筑组成的三栋BIPEC案例，采用PVsyst 7.4.8模拟屋顶光伏出力，EnergyPlus 23.2.0模拟建筑电负荷，并以蒙特卡洛随机作息抖动进行数据增强生成万组样本。建立BIPEC完全合作多智能体系统（MAS），每栋BIPE对应一个控制智能体（Control Agent, CA），以本栋光伏出力P_PV,i,t、电负荷P_L,i,t、电池荷电状态（State of Charge, SOC_i,t）、节假日标识及时刻为局部观测状态，以ESS充放电比例（连续动作）为决策动作，以综合考虑发电与用电的奖励函数驱动MAPPO训练。搭建五维DT框架作为仿真辅助ODT平台提供状态转移与奖励反馈，Actor-Critic网络各两层64神经元，学习率5×10^?4，折扣因子0.99，每训练回合为一月（744时间步），在Python+PyTorch中实现ODT-MAPPO耦合训练与验证，并与非合作自发自用（noco-SGSU）、合作自发自用（co-SGSU）及典型MAPPO（无数据增强）策略对比。

【研究结果】

1. 2.
   BIPEC系统模型（BIPEC System Model）
   研究人员建立含屋顶PV、锂离子电池（Lithium-Ion Battery, LIB）ESS及AC微网的BIPEC功率平衡方程（式1–式8），明确单体建筑内部功率平衡、电池充放电约束（含往返效率η_rt及自放电系数η_sd）、SOC上下限（式3–式5）、建筑间交互微网功率平衡（式6）及集群与公共电网交换功率（式7–式8），目标函数为单时段公共电网正向功率之和最小（式9–式10），不考虑经济博弈，所有建筑地位平等。

2.2 调度的完全合作多智能体系统模型（Fully Cooperative MAS Model for Dispatching）

研究人员定义每栋BIPE的CA接收PV预测代理（PVAgent）与负荷代理（LAgent）数据、监控ESS代理（ESSAgent）状态并发出充放电指令，微网代理（Microgrid Agent, MA）仅监测群集功率流。各CA通过局部观测做分散决策，训练阶段共享全局信息更新Critic，执行阶段仅依本地观测由Actor网络输出动作，构成完全合作MAS。

2.3 能量交换机制（Energy Exchange Mechanism）

研究人员将本地微网视为无储能"功率池"，瞬时净注入为零，各BIPE只需确定对微网的净输出功率P_net,i,t（正为送出负为取用），结合单体功率平衡式（式1）通过ESS调节实现集群调度，无需追溯具体功率来源去向。

1. 3.
   ODT-MAPPO电力调度模型（ODT-MAPPO Power Dispatch Model for BIPEC）
   研究人员将MAPPO的马尔可夫决策过程（Markov Decision Process, MDP）状态空间定义为s_i,t=(P_PV,i,t, P_L,i,t, SOC_i,t, holiday_flag, t)，动作a_i,t∈[-1,1]为ESS充放电百分比。训练阶段Critic观测全局信息，Actor各CA独立更新。针对RL训练依赖环境、成本高及安全性问题，引入ODT作为仿真辅助训练平台。

3.2 BIPEC数字孪生五维框架（DT Five-Dimensional Framework for BIPEC）

研究人员参照五维DT架构建立BIPEC数字孪生框架，当前以ODT模式运行——用PVsyst与EnergyPlus白箱模型生成P_PV与P_L，MySQL存储数据，训练阶段MA向各BIPE的ODT提供群网交互信息，未来可扩展实时校准与在线学习。

3.3 获取最优调度策略的ODT-MAPPO模型（ODT-MAPPO Model for Optimal Dispatch Strategy）

研究人员以蒙特卡洛随机作息抖动（±50%正态分布）对人员占用率、照明及设备使用率进行数据增强，输入EnergyPlus批量生成万组逐时负荷。经增强后数据相对典型负荷偏差多集中在5–8%。ODT为MAPPO提供状态样本、状态转移及即时奖励r_t=α·min(P_PV,cluster,t, P_L,cluster,t)?β·P_grid+,t（α=0.03, β=1），避免直接用目标函数导致误奖赏弃光现象。运行阶段设计决策模块（CA用短期预测+SOC+时间信息经训练后Actor输出动作，无需建筑间通信）与监测模块（未来在线比对DT预测SOC与实测SOC检测参数退化）。

1. 4.
   案例研究与数据实验（Case Study and Data Experiments）
   4.1 基本信息（Basic Information）：以上海办公/酒店/商场三栋BIPEC为对象，PV容量分别为162 kWp、108 kWp、1673 kWp，ESS容量520/520/1200 kWh，SOC_init=50%，SOC∈[0%,100%]，η_rt=0.95，η_sd=0.98，充放上限P_chg/dis,max=0.5·E_cap，调度步长1 h，一月744 h为例。

4.2.1 数据增强结果与分析（Data Augmentation Results and Analysis）：蒙特卡洛随机作息引入后逐时负荷分布变宽，峰值时段扩散明显，增强数据集更完备，可表征同一时刻多种可能用电水平及其分布。

4.2.2 MAPPO训练与奖励设定实验结果（MAPPO Training and Reward Setting Experiment Results）：直接以目标函数为奖励时训练不收敛（电网购电约384.2 MWh无下降趋势）；采用式(17)综合发用奖励后累积回报稳步上升，约2500回合收敛。经超参调优（总步数10⁶, lr=5×10^?4, ε=0.01），一月策略训练约48 h，推理生成全月动作约4 min（每步≈0.3 s），具实时可行性。

4.2.3 不同控制策略所得调度结果比较（Comparison of the Dispatch Results Obtained Using Different Control Strategies）：以noco-SGSU为基准，co-SGSU、典型MAPPO及ODT-MAPPO均降低公共电网累计供电；ODT-MAPPO效果最优——较noco-SGSU一月减少电网供电4960.2 kWh（PV多消纳5870.8 kWh），较典型MAPPO一月再少减2544.58 kWh且PV消纳提升率约为典型MAPPO两倍。全年各月ODT-MAPPO较noco-SGSU减少公共电网供电0.55%–2.56%（十二月最高六月最低），平均月增PV消纳7.28 MWh。一月按上海碳排放因子0.5849 kgCO₂/kWh测算减碳约2901.2 kgCO₂。SOC曲线显示ODT-MAPPO较co-SGSU体现出更主动的跨建筑协同充放行为。

4.2.4 基于ODT-MAPPO策略的逆向储能系统设计（Reverse Design of ESS Based on ODT-MAPPO Strategy）：固定建设成本C=E_cap·c_E+P_rated·c_P相近前提下对比多组ESS容量/功率组合重训ODT-MAPPO，方案No.123（办公520 kWh/260 kW，酒店525 kWh/250 kW，商场1200 kWh/150 kW）在一月电网补电最少，表明ODT-MAPPO可支撑ESS配置与调度策略联合优化。

【讨论与结论翻译】

研究人员得出结论：(1) MAPPO算法经优化的动作与奖励函数设计可使各控制智能体有效训练，约2500回合后累积奖励与公共电网供电量收敛。(2) ODT-MAPPO导出的调度策略在测试BIPEC场景中展现协同调度行为与实用可行性，较非合作自发自用策略全年每月减少电网补电0.55–2.56%。(3) 仿真辅助ODT技术在缺乏BIPEC运行数据时增强MAPPO训练可靠性，ODT-MAPPO较基于典型能耗数据的典型MAPPO策略一月进一步减少公共电网累计供电2544.58 kWh，PV消纳提升率约为典型MAPPO的两倍。(4) ODT-MAPPO模型支持ESS方案与调度策略协同优化，方案No.123在考虑建设成本下使集群电网补电最少，初步优化后办公/酒店/商场额定ESS容量为520 kWh、525 kWh、1200 kWh，对应额定功率260 kW、250 kW、150 kW。研究局限性包括：当前为单目标最小化未含经济多目标；未考虑异质产权下的混合合作—竞争场景；ODT为离线未用实测校准及高级人员行为模型；基线仅限规则法与标准MAPPO；1 h步长平滑短时波动；未做全年度综合碳效与经济效费评估。