面向零碳转型的智能微电网能源管理：一种结合萤火虫移动回归方法的混合深度 Q 网络

《Energy for Sustainable Development》：Intelligent microgrid energy management for zero-carbon transition: A hybrid deep Q-network with firefly moving regression approach

　　

•离线重放使用15千瓦/23千瓦时微电网的实测光伏/负载数据。
•DQN-MR相较于规则式基线策略，将单日净调度成本降低56.5%。
•DQN-MR相较于规则式基线策略，将模拟的单日电网购电降低40.4%。
•DQN-MR可使估算的电网购电碳排放减少40.3%。
•离网重放模式强制零电网交换，并对燃料电池备用进行建模。

引言

全球能源格局正在经历前所未有的转型，其驱动力在于迫切需要将全球气温升幅控制在工业化前水平以上1.5°C以内。到2030年实现净零碳排放，要求能源体系从依赖化石燃料的集中式电力系统，根本性地向分布式、可再生能源驱动的架构转变（Abdelsalam等，2025）。微电网——即可作为单一可控实体运行的一组本地电力源和负载——已成为这一转型过程中最有前景的结构性要素之一（Dawn等，2024）。通过实现高比例的光伏发电、电池储能系统和智能需求侧管理，微电网可以以近零碳强度运行，同时减少对公共电力的依赖。在离网模式下，公共电网连接被断开，由本地光伏、电池储能和可调度的燃料电池备用来满足需求（Abdelsalam等，2025；Al-Shetwi等，2024）。

尽管具有上述潜力，但在实际中实现零碳微电网运行仍面临重大技术挑战。太阳辐照的随机性、可再生能源发电与负载需求之间的时间错配，以及多模式运行的复杂性，共同构成了一个高度动态的优化问题，静态或基于规则的控制策略无法充分应对（Minhas等，2022；Wee等，2022）。传统的基于规则的能量管理系统无法适应变化的天气条件，无法从历史运行数据中学习，也无法利用分时电价机制来将负载从碳密集的高峰发电时段转移出去（Nour等，2025；Zhao等，2023）。

强化学习，特别是基于深度Q网络的方法，已成为微电网动态调度优化的强大范式（Hassan等，2022；Lei等，2021；Zhou & Erol-Kantarci，2021）。与需要精确系统模型的基于方法不同，强化学习方法通过与环境的交互直接学习最优控制策略，因而对不确定性具有天然的鲁棒性（Van Hasselt等，2016；Zhang等，2019）。然而，标准的深度Q网络实现在应用于高度非线性、非平稳的能量管理环境时，奖励信号方差较大且收敛行为不佳（Chen等，2024）。本研究通过提出一种集成了移动回归的混合深度Q网络方法，以及互补的萤火虫移动回归算法来解决这些局限性。移动回归组件平滑了奖励景观、稳定了学习过程，并提高了光伏功率预测精度（Syed & Khalid，2021），而萤火虫算法优化了超参数配置以实现更快收敛（Khan等，2020；Tolba等，2022）。

上述三个组件——深度Q网络、带线性回归平滑的移动平均法，以及基于萤火虫算法的超参数搜索——各自在文献中均已得到充分建立。本文的贡献不在于任何单一组件，而在于将它们进行特定耦合以解决那些更简单的替代方案仅能部分处理的问题：标准深度Q网络样本效率高，但在快速变化的光伏和负载信号下其Q值估计存在噪声，从而减缓并 destabilized 收敛；预测增强型深度Q网络改善了输入信号，但未解决奖励信号本身的噪声问题；而无需梯度的调参方法如网格搜索或手动调参在处理深度Q网络大量超参数时扩展性较差。在提出的架构中，移动回归被应用了两次——一次用于输入状态向量的光伏预测，一次用于时序差分更新中的奖励信号；萤火虫算法分别搜索深度Q网络超参数和移动回归混合权重，而非对它们进行孤立调参。因此，本文的贡献在于在奖励层面联合使用移动回归平滑与基于移动回归的强化学习超参数联合搜索，并在物理微电网实测数据的离线重放仿真环境中进行验证。这一论断目前仅得到部分结果的支持：比较基线和局限性与未来研究方向部分指出了仍然需要的特定消融实验和基线对比，以分离各组件的独立贡献，并将这些作为该研究方向下一步的直接工作，而非声称已得到证实。

本文涵盖四个关键维度：（一）面向智能能量管理的AI与数字化转型；（二）通过优化电池储能调度实现储能与电网韧性；（三）通过减少电网依赖和增强可再生能源出口实现实用化脱碳策略；（四）使用物理微电网实测运行数据进行离线重放验证。本文其余部分组织如下：文献综述部分回顾相关文献。微电网系统与碳背景部分描述实验微电网及其碳背景。所提优化框架部分介绍所提优化框架。实验设置与案例研究部分描述案例研究。实验结果与零碳分析部分使用零碳指标分析结果。解读与局限性部分讨论对2030脱碳路径的影响。结论部分总结全文。

章节片段

**微电网与零碳使命**

近期研究已证实，整合太阳能光伏与电池储能的分布式微电网是实现零碳电力供应最具成本效益的途径之一，尤其对于目前依赖柴油或燃煤发电的社区而言（Abdelsalam等，2025）。Dawn等人（2024）确认，在净零情景下，智能电网和数字基础设施将在2030年前获得最大的电网投资份额，凸显了其战略重要性。

**系统架构**

本研究使用的实验平台是位于台湾桃园中央大学的一个物理微电网，坐落在专用的白色能源屋设施中（Chen等，2025），如图1所示。该系统代表了一个产消者型城市微电网，即2030年前分布式零碳能源系统中预期的主要配置（Dawn等，2024）。主要系统组件包括一个15千瓦屋顶光伏阵列和一个23千瓦时基于锂的电池储能系统。

**问题表述**

优化目标是模式依赖的。在并网运行时，目标是最小化电网交易成本和电池运行成本，同时最大化可再生能源利用率。在离网运行时，电网交换不可用，目标转而最小化燃料电池使用量、光伏弃电、未服务负载和电池运行成本。公式(1)至(7)介绍了原始并网运行公式；下述明确说明了模式特定的平衡约束和目标。

**物理站点数据与仿真**

实验数据从中央大学白色能源屋微电网以分钟级分辨率采集（Chen, Zhu等，2024）。数据集涵盖多种天气条件下的多天数据：晴天（峰值光伏约5.8千瓦）、多云（约3.2千瓦）和雨天（约1.5千瓦），使得能够评估算法在可再生能源发电全变幅范围内的鲁棒性（Khan等，2025）。这种变幅范围对零碳微电网规划尤为重要，因为全年……

**对比训练收敛性**

为明确所提混合方法的范围，本研究引入了两种共享公共移动回归预测模块但决策核心不同的独立控制变体：（1）深度Q网络+移动回归，使用深度Q网络策略；（2）萤火虫算法+移动回归，用基于萤火虫算法的优化器替代深度Q网络策略。萤火虫算法并非用于调节深度Q网络策略的超参数，如表1所示；而是作为AI驱动的……

**微电网作为脱碳杠杆**

DQN-MR相较规则式控制实现的56.5%成本降低和3.2倍碳减排改进，代表了能源转型的"软件红利"——即无需额外硬件投资即可实现的性能提升。这对于发展中国家和低收入社区尤为重要，因为资本约束限制了硬件升级，而基于软件的优化可以显著改善现有可再生能源系统的环境绩效。

**结论**

本研究提出并评估了混合深度Q网络移动回归方法作为物理站点光伏-电池储能微电网的调度策略（Abdelsalam等，2025；Al-Shetwi等，2024；Dawn等，2024）。评估通过在台湾中央大学15千瓦光伏和23千瓦时电池储能系统的实测光伏和负载数据进行离线重放完成。运行边界各有不同：并网模式的案例1和案例3允许公共电网导入和导出，而离网……

**作者贡献声明**

I Gede Agus Purwa：写作——审阅与编辑、写作——原稿撰写、可视化、调查研究、数据整理、概念构思。Cheng-I Chen：指导、资源提供、方法论。

**资助**

本研究由台湾科技部资助（项目号：111-2628-E-008-004-MY3）、国家科学及技术委员会资助（项目号：113-2218-E-008-016），以及中华电信实验室资助。资助方未参与研究设计、数据收集与分析、发表决策或稿件撰写。

**利益冲突声明**

作者声明不存在利益冲突，且没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

**致谢**

本研究由台湾科技部资助（项目号：114-2628-E-008-006-MY3）、国家科学及技术委员会资助（项目号：114-2622-8-008-006），以及中华电信实验室资助。作者衷心感谢中央大学电机工程系对白色能源屋微电网设施维护提供的技术支持。

I Gede Agus Purwa（S'25），1997年8月17日出生于印度尼西亚巴厘岛登巴萨。目前是台湾桃园中央大学电机工程系博士研究生。2018年毕业于印度尼西亚巴厘岛巴厘国立理工学院电气工程三级文凭课程。2022年毕业于台湾桃园建仁科技大学电气工程学士学位。获得台湾中央大学电机工程系硕士学位……

I Gede Agus Purwa | Cheng-I Chen