混合策略近端策略优化：用于多种类型家用电器的控制与最优调度

《Knowledge-Based Systems》：Hybrid strategy proximal policy optimization for control and optimal scheduling of multi-type household appliances

　　摘要：将光伏模块、储能设备和可控负载等灵活资源集成到住宅微电网中，不仅改变了家庭能源管理系统（HEMS）的架构，也带来了多维协调复杂性和随机不确定性等挑战。针对这些问题，本研究提出了一种新的HEMS框架，该框架能够协调不同类型的负载，在结合实时定价和需求费用的混合定价方案下最小化总电力成本。家庭负载的固有异质性产生了离散-连续的混合行动空间，这限制了传统强化学习算法的有效性。为了克服这一限制，本文开发了一种混合近似策略优化（PPO）方法，该方法可以同时优化离散设备调度和连续电力分配。基于真实世界数据集的大量仿真表明，与贪心算法、深度Q网络和深度确定性策略梯度基线算法相比，所提出的算法分别实现了20%、8.5%和4.6%的成本降低。此外，消融实验证实，所提出的算法在所有评估指标上均优于原始PPO算法，特别是将用户的峰值净负载和总电力成本分别减少了18.8%和10.9%。

引言：近年来，全球住宅电力消费显著增长，这一趋势在中国尤为明显[1]。作为世界上最大的住宅电力消费者，中国的住宅电力使用量在截至2023年的十年间增长了大约85%至143%，这主要是由人口增长和生活水平提高所驱动的[2]。根据中国电力委员会的数据，这种快速增长自2005年以来一直持续存在，导致了大量且集中的电力需求。这种高密度和不断增长的住宅需求对电网构成了巨大挑战，包括峰值负荷压力和运营复杂性的增加。为了解决这些问题，能源供应商采用了动态定价策略，如分时电价（TOU）、实时定价（RTP）和需求费用电价（DCT）[3],[4]。这些策略旨在重塑住宅负载曲线并促进需求响应（DR），从而提高整体电网稳定性。此外，光伏（PV）模块和储能设备（ESD）在家庭中的日益普及也增强了住宅电力的灵活性。然而，这也由于多种不确定性因素为家庭能源管理系统（HEMS）带来了新的挑战[5],[6]。因此，智能电网研究中的一个关键研究焦点是HEMS的协调机制。这种机制控制储能设备，并使各种设备与光伏发电和RTP协同工作，以提高家庭能源效率并降低电力成本[7],[8],[9]。值得注意的是，家庭能源调度问题已经得到了广泛研究。早期研究经常使用元启发式算法来处理HEMS任务。例如，Huang等人[10]和Fiorotti等人[11]使用了遗传算法（GA），而[12]应用了粒子群优化（PSO）。然而，这些方法存在固有的局限性，包括无法保证收敛、容易陷入局部最优解以及全球搜索效率有限。作为替代方案，模型预测控制（MPC）已被广泛应用于能源管理问题[13],[14],[15]，与传统的前一天优化策略相比，显示出更高的鲁棒性和操作灵活性。尽管如此，基于MPC的方法仍然严重依赖于对随机变量（如RTP和PV发电）的准确统计预测。因此，在预测错误的情况下，它们的性能会显著下降。然而，在实际场景中获得这些变量的精确预测仍然具有挑战性，因为存在固有的不确定性。

大数据和人工智能技术的快速发展为住宅能源管理带来了创新方法。例如，强化学习（RL）能够在不需要精确系统模型的情况下实现有效的序列决策，成为HEMS应用中一种有前景的方法。此外，多项研究证明了基于RL的HEMS解决方案的有效性。例如，Pinthurat等人[16]和Sharda等人[17]强调了RL在这一领域的广泛应用。在一项代表性研究中，Alfaverh等人[18]提出了一个结合RL和模糊推理的HEMS，利用Q学习算法来实现最优设备调度，同时考虑到用户偏好。同样，Amer等人[19]将深度Q网络（DQN）算法应用于多目标HEMS，从而在不影响居住者舒适度的情况下有效调度设备。进一步推进该领域的是，Li等人[20]引入了一种基于深度确定性策略梯度（DDPG）方法的能源管理算法，成功协调了电动汽车（EV）和ESD在连续行动空间中的运行。此外，Real等人[21]利用近似策略优化（PPO）方法降低了电力成本，并提高了光伏发电的自给率，进一步展示了先进RL在HEMS应用中的潜力。尽管取得了这些成功，但现有的RL方法仍存在一些局限性。例如，DDPG和DQN分别仅限于连续和离散行动空间。虽然PPO在处理这两种类型的行动空间时表现出良好的泛化能力，但在处理同时包含连续和离散组件的混合行动空间时仍然受到限制。

在HEMS中，家庭负载可以根据其功率特性分为两类：功率定值负载和功率可控负载。功率定值负载（例如洗衣机）以离散的开/关模式运行，对应于系统内的离散控制动作。相比之下，功率可控负载（例如热水器）允许在预定义范围内连续调节功率，从而实现连续控制动作。一种常见的处理这种混合离散-连续行动空间的策略是离散化连续动作。这使得原本为离散空间设计的RL算法得以应用。例如，在之前的工作中，Mocanu等人[22]应用了基于DQN的方法来调度空调和电动汽车。然而，这种离散化可能会引入维度灾难，降低计算效率并限制解决方案的可扩展性。具体来说，随着可控设备数量的增加，离散化行动空间的大小呈指数级增长，使得学习过程在计算上变得不可行，并妨碍了这些方法在更复杂的家庭环境中的部署。相比之下，我们的 Hybrid-PPO 方法直接处理连续动作，无需离散化，从而避免了行动空间的指数级增长，提供了更好的可扩展性。因此，开发能够直接有效支持混合行动空间的RL算法对于推进家庭能源调度策略至关重要。

此外，在TOU或RTP方案的指导下将大量家庭能源消费从高峰期转移到非高峰期可能会无意中引发新的需求高峰。为了缓解这个问题，某些地区已为住宅消费者实施了DCT方案。在DCT方案下，根据用户在计费周期（例如每天或每月）的最大电力需求收取一次性费用。峰值需求通常定义为预定义的短期间隔（例如30分钟或1小时）内的最高平均电网功耗[25]。因此，多项研究探讨了在DCT方案下的HEMS。例如，Kong等人[23]和Babacan等人[24]验证了ESD在遏制峰值电力需求方面的有效性，从而使用户能够最小化与DCT相关的成本。此外，Azuatalam等人[26]证明，广泛采用住宅DCT可以带来电网层面的好处，例如减少网络拥堵和改善负荷平衡。

基于这些考虑，本研究探讨了一个同时考虑RTP和DCT方案的HEMS。所提出的系统集成了光伏模块、ESD和各种住宅负载，其双重目标是降低每日电力采购成本和减少每月DCT费用。然而，实现这一优化目标面临诸多复杂因素的挑战。首先，光伏模块、RTP和用户消费模式的固有不确定性给决策过程带来了很大的复杂性。其次，弹性负载和ESD的运行在时间上是耦合的，这意味着当前的调度决策直接限制了未来的运行状态。第三，在RTP和DCT框架下联合优化ESD和多种住宅负载类型进一步加剧了问题的复杂性。为了解决这些挑战，本研究对PPO算法的网络架构进行了创新修改，提出了一种新的混合（离散-连续）PPO策略。与仅限于离散或连续行动空间的现有控制策略不同，所提出的方法能够在考虑的模型内精确调度异质负载。本研究与其他相关工作的比较总结在表1中。

本研究的主要贡献如下：
(1) 一种具有混合行动空间的HEMS框架：所提出的系统集成了多种负载，并通过将问题建模为马尔可夫决策过程（MDP）来制定它们的调度，比传统方法更准确地表示了真实设备动态。
(2) 适用于混合行动空间的混合PPO算法：重新设计了经典的PPO网络输出结构，开发了一种新的混合PPO算法，能够无缝处理混合行动空间，最终克服了传统RL方法的联合优化限制。
(3) 在RTP和DCT下的最优住宅能源调度：本研究探讨了RTP和DCT对住宅能源调度的综合影响，所提出的框架在限制峰值需求的同时降低了电力成本。此外，实际模拟证实，与基线方法相比，显著降低了住宅用户的成本。

本文的其余部分结构如下：第2节介绍系统模型和问题表述，第3节通过将问题建模为MDP来介绍开发的优化框架。第4节提出了用于解决所构建的MDP问题的新能源调度算法，第5节提供了详细的仿真结果和性能分析。最后，第6节总结了本文的主要发现。梅iqu Lu：撰写、审稿与编辑工作；项目管理工作；概念构思；资金筹集。

**利益冲突声明**
作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

**致谢**
本研究得到了中国国家自然科学基金（项目编号：12162005）、广西脑计算与智能芯片重点实验室（项目编号：BCIC-23-Z7）以及广西自然科学基金（项目编号：2026GXNSFAA00640908和2025GXNSFBA069413）的支持。研究过程中使用了来自Pecan Street Dataport的数据。特此感谢Pecan Street, Inc.提供这一宝贵的数据资源。

Didi Liu | Xi Zhong | Baoqiang Lao | Meiqu Lu