基于深度强化学习的多目标协同优化方法在建筑集成能源系统中的应用 王立民、 吴永凯、 赵俊民、 高伟、 李登高

《Applied Sciences》：A Multi-Objective Collaborative Optimization Approach for Building Integrated Energy Systems Based on Deep Reinforcement Learning Limin Wang, Yongkai Wu, Jumin Zhao, Wei Gao and Dengao Li

　　

摘要

为了解决在双碳目标下构建集成能源系统（IES）时面临的协调优化挑战——这些挑战包括强烈的多能源耦合、可再生能源发电的显著不确定性以及严格的安全约束——本文提出了一种新型的安全深度强化学习算法Safe-DDPG。传统的深度强化学习方法由于在IES优化中存在耦合目标，通常会面临较高的约束违反风险和有限的策略可靠性问题。为了克服这些限制，设计了一种双通道评估器架构，以独立评估和分离经济目标与安全目标。此外，引入了一种基于对数障碍函数的动态安全惩罚机制，并结合了自适应探索策略，使得在训练过程中可以根据系统状态动态平衡经济成本与约束满足度。实验结果表明，与主流算法相比，Safe-DDPG在多个关键性能指标上取得了显著改进：安全违规减少了96.7%，平均每日运营成本降低了18.5%，累积奖励增加了30%以上。消融研究进一步证实了每个核心组件的有效性和必要性。本文还复现了参考文献中的两种DRL方法，并将其性能与所提出的方法进行了比较，结果显示所提出的方法在奖励值和经济成本方面具有显著优势。这项工作为在复杂运行约束下优化和调度建筑能源系统提供了一种安全、可靠且高效的基于强化学习的方法。