应对能源管理中的混合不确定性：一种协同规划者-学习者方法

《Energy》：Addressing Hybrid Uncertainties in Energy Management: A Synergistic Planner-Learner Approach

　　王立豪|崔灿|周新友|冯守真
中国海洋大学工程学院，中国青岛松岭路238号

摘要
可再生能源发电比例的快速上升以及居民用电负荷的多样化，给家庭能源管理带来了巨大挑战。传统家庭能源管理方法存在风险高、过于保守、依赖模型以及维度问题等缺陷，难以应对各种不确定性。为解决这些问题，本研究提出了“规划者-学习者”框架，这是一种能够处理由环境因素和用户行为带来的复合不确定性的提前一天家庭能源管理方法。环境不确定性通过核密度估计和基于Copula的联合分布进行建模，然后由带有负SoftMax机制的基于模型的规划者来管理，该机制可动态更新各场景的概率。用户行为不确定性则通过强化学习的学习者来处理，通过明确的不确定性分类对状态和动作空间进行剪枝，从而缓解维度灾难问题。规划者与学习者在闭环过程中交替工作：规划者的解决方案为学习者提供初始条件，学习者经过优化后的策略再反馈给规划者，直至收敛。基于真实数据的案例研究表明，该方法可将电费降低17.24%，几乎消除热舒适度和出行舒适度方面的问题，同时保持能源存储系统的可靠性，并最小化可再生能源的弃用量，其性能优于现有基准方法。

引言
建筑作为电力消耗的主要部分，占全球总能源消耗和二氧化碳排放量的近30%[1]、[2]。为减少对化石燃料发电的依赖，人们制定了多项政策，用可再生能源替代化石燃料发电[3]。鉴于此，家庭能源管理被视为整合可再生能源、优化能源使用、减少能源浪费以及在供需双方都存在不确定性的情况下保持系统可靠性的关键方法[4]。

为降低能源成本，石等人[5]提出了一种基于强化学习的能源优化管理方法，该方法利用深度网络中的策略集来最小化能源消耗；曼苏尔等人[6]采用机器学习方法生成光伏场景，以降低能源成本；阿吉塔等人[7]利用物联网技术实现家庭能源管理，实现了49%的能源节省。为减少碳排放，曹等人[8]提出了一种低碳能源管理方法，以在经济效益和低碳性能之间取得平衡；格巴德加等人[9]利用一对一优化器进行资源调度，使排放量减少了38%。为提升家庭能源系统的可靠性，萨拉里等人[10]专注于电动汽车的整合，提出了一种模糊Q学习方法，使系统对电网的依赖降低了30%；孔等人[11]采用改进的麻雀搜索优化算法来降低峰均比，从而确保电网稳定。此外，菲奥罗蒂等人[12]提出了一种提前一天进行家庭能源管理的方法，可为在能源成本和用户舒适度之间实现最佳平衡提供方案；乔尔德希等人[13]将车对家技术纳入家庭能源管理中，而王等人[14]则在能源管理方法中加入了安全指标。

由于可再生能源具有间歇性、随机性和波动性等固有特性，其比例的上升给供应端带来了大量不确定性[15]、[16]。此外，家庭用电负荷的种类和数量不断增加，尤其是能源存储系统和电动汽车，也给需求端的可靠性带来了挑战[17]。最近的研究还强调了居住者行为对家庭能源管理的重大影响：韩等人对117项人-建筑互动研究进行了系统综述，发现超过35%的研究聚焦于居住者行为和能源使用，研究表明行为调整可实现9%-28%的能源节省，而行为差异可能导致预测能耗与实际能耗之间出现高达40%的偏差[18]；张等人提出了一种结合加权居住者行为概率的能源消耗预测方法，发现行为因素可使预测精度提高约40%，他们还将行为分为受环境驱动、受时间驱动和随机类型，以便更好地分析其对能源使用的影响[19]。因此，考虑不确定性对于家庭能源管理方法而言至关重要。随着智能电表和智能家电（如空调、洗衣机、洗碗机等）的不断发展，近年来在考虑不确定性的家庭能源管理方法方面取得了显著进展[20]、[21]。

考虑不确定性的家庭能源管理方法的性能，本质上取决于其处理不确定性的方法的有效性。在[22]中，不确定性被建模为不确定性集合，家庭能源管理方法被设计为在这些集合的最坏情况下仍能保持稳健性。然而，这种方法由于考虑了最坏情况，不可避免地会导致非最优结果。为了获得更好的性能，某些方法允许决策变量违反机会约束，只要满足置信区间要求即可。基于这种思路，[23]提出了一种机会约束模型，用于确定关键组件的最佳尺寸，以满足负荷需求的同时最小化能源系统的生命周期成本。不过，这种方法会增加风险概率，从而影响家庭能源管理的可靠性要求。另一种方法是将不确定性建模为概率分布[24]。在这种方法中，通过从这些分布中采样生成一系列场景，然后家庭能源管理问题的目标函数期望值会在这些场景下进行优化，从而得到最优解。然而，这种方法严重依赖于精确的概率不确定性建模，而这往往不切实际，限制了其在现实世界中的应用效果。作为一种无模型方法，强化学习具有“自适应能力”，无需精确模型即可从环境交互中学习最优策略[25]。例如，[26]中设计了一种基于强化学习的分层能源管理策略，利用强化学习处理动态不确定性以实现实时决策；张等人[27]提出了一种基于内点策略优化的多智能体深度确定性策略梯度方法，并结合Transformer预测技术，无需对不确定性进行建模即可实现近乎零的约束违反。尽管取得了这些进展，这种方法仍面临一个根本性挑战：随着负荷和可再生能源的不断增加，状态-动作空间的扩大会导致“维度灾难”，从而严重降低训练效率并带来巨大的计算负担。

前一节总结了本研究所查阅的文献。尽管现实世界的家庭能源管理面临着诸多不确定性，如环境温度波动、居住者动态变化、电动汽车的随机到达和行驶时间等，但以往的研究并未充分应对这些复杂性。此外，现实世界中的各种不确定性是相互关联的，例如太阳辐射强度和环境温度之间存在明显的统计相关性。大多数研究都是孤立地处理这些因素，忽视了它们之间的内在关联。而且，基于模型的方法由于其不确定性模型的精确度而存在效率上限，而无模型方法则容易因状态-动作空间的指数级扩张而面临“维度灾难”问题。尽管存在这些挑战，现有研究仍未提出有效的解决方案。

为填补这些研究空白，本文提出了“规划者-学习者”这一新方法，该方法综合考虑环境随机性和用户行为变异性，旨在在降低电费和可再生能源弃用量的同时，提高系统的可靠性并提升用户舒适度。本研究的主要贡献如下：
a) 提出了一种新的“规划者-学习者”方法，用于实现家庭能源管理的最优调度。该方法根据建模复杂度将不确定性分为环境随机性和用户行为变性，从而克服了传统方法无法处理家庭能源管理中各类不确定性的缺陷。
b) 设计了一种基于强化学习的学习者，用于调度主要由用户控制的负荷，同时解决了用户行为变性建模中非概率性问题的挑战。
c) 为剩余的负荷开发了一种基于模型的规划者，通过建立非参数概率模型，大幅降低了状态-动作空间的规模以及学习者的复杂度。
d) 设计了一种闭环优化流程，将学习者和规划者有机结合。通过一系列真实世界的案例研究，证明了该方法的性能。

本文的其余结构如下：第2节阐述本研究的问题描述和建模方法；第3节详细介绍所提出的“规划者-学习者”方法；第4节通过全面的真实世界案例研究验证该方法的有效性；第5节给出结论。

家庭能源管理系统简介
图1展示了本研究中家庭能源管理系统的图形表示。该系统以并网模式运行，供应端以电网和屋顶光伏板作为能源来源。在需求端，包括电动汽车、可调节负荷、暖通空调以及其他负荷在内的各类用电设备，用于满足交通、热舒适度及其他家庭需求。此外，系统中还整合了电池，以提高系统的可靠性。

所提方法的整体框架
本研究通过提出一种新的“规划者-学习者”方法，致力于实现最优的提前一天家庭能源管理调度。传统的基于模型的方法难以处理复杂的不确定性，而无模型方法则会导致状态和动作空间维度过高。为克服这些局限，本研究提出了一种全新的协同优化框架，将随机优化和强化学习的优势有机结合，如图4所示。该框架首先利用……

数据库详情与实验环境
本案例研究使用来自佩坎街项目（涵盖纽约州奥斯汀市、加利福尼亚州的1,000多户家庭）的真实数据[29]，对“规划者-学习者”方法进行了评估。具体而言，本研究选择了奥斯汀市编号为8156的家庭，该家庭记录了暖通空调、电动汽车、洗衣机、洗碗机、照明设备、冰箱等的运行数据。图7展示了该家庭2018年的用电情况。在本研究中，分析的时间段为8月16日至……

结论
本研究提出了一种名为“规划者-学习者”的新型考虑不确定性的家庭能源管理方法，用于实现最优的提前一天调度。该方法首次将现实世界中的不确定性分为环境因素和用户行为两类，并构建了一个协同优化框架，让规划者负责处理环境因素，学习者负责处理用户行为。此外，该方法还引入了一种动态场景更新机制，通过持续更新各场景的概率，提高了场景的真实性。

CRediT作者贡献声明
冯守真：项目管理、数据收集。崔灿：写作——审稿与编辑、方法验证、资金获取、正式分析、概念构思。王立豪：写作——初稿撰写、可视化、软件应用、方法设计、数据整理。周新友：监督指导、资源协调、项目管理。

数据可用性
数据将应要求提供。

利益冲突声明
? 作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金（项目编号：52301348）的支持。