基于分层强化学习的社区建筑动态零售定价与冷却需求响应协同优化框架

《Applied Sciences》:Development of a Hierarchical Reinforcement Learning Model for Dynamic Retail Pricing and Cooling Demand Response in Building Communities

【字体: 大 中 小 】 时间:2026年09月21日 来源:Applied Sciences 2.5

编辑推荐:

  建筑冷却负荷为需求响应提供了灵活性,但其运行必须在用户成本、聚合商收益、碳排放和热舒适之间取得平衡。现有的建筑控制研究通常将电价视为外部输入,而许多动态定价研究则简化了建筑热响应和舒适约束。本研究开发了一个两层的分层软演员-评论家(Soft Actor-Cri

  
建筑冷却负荷为需求响应提供了灵活性,但其运行必须在用户成本、聚合商收益、碳排放和热舒适之间取得平衡。现有的建筑控制研究通常将电价视为外部输入,而许多动态定价研究则简化了建筑热响应和舒适约束。本研究开发了一个两层的分层软演员-评论家(Soft Actor-Critic, SAC)框架,用于量化虚拟零售聚合商与集中式建筑控制器如何协调有界内部零售价格、共享电池调度以及冷却需求响应。上层控制器首先行动,下层控制器随后根据零售价格和舒适状态联合调整六栋建筑的冷却行为。在原始的92天全周期比较中,所选的多智能体强化学习(MARL)策略相对于默认静态零售基线,将用户成本降低了14.1%,转移中性外部结算成本降低了31.3%,平均温度误差降低了29.0%,碳排放降低了27.4%,同时保持了正的聚合商利润。另一项独立的时间顺序鲁棒性协议使用60天进行训练、16天进行基于验证的检查点选择、以及完全未见的16天进行测试。在未见测试期的三个随机种子上,MARL使聚合商利润增加了24.1%,用户成本、转移中性净成本和碳排放分别降低了4.0%、24.5%和17.4%,尽管平均温度误差增加了10.9%。在未见测试中,价格响应型静态规则实现了比MARL更低的用户成本、净成本、温度误差和碳排放,而MARL则实现了更高的聚合商利润。因此,研究结果支持在所描述的六栋建筑仿真中存在经济和排放方面的权衡,而非在所有指标或建筑社区中实现普遍优势。
一、研究背景、现存问题与研究意义
随着可再生能源发电、分布式能源资源和电气化终端用能的快速发展,电力系统的运行模式正在发生深刻变革。集成需求响应(Integrated Demand Response)将传统需求响应的范畴扩展到多种能源载体和终端用途,人工智能与机器学习因此成为需求响应领域活跃的研究方向。建筑作为可控负荷、本地能源资产和舒适约束的集合体,在这一转型中扮演着至关重要的角色。暖通空调(HVAC, Heating, Ventilation, and Air Conditioning)负荷因其占建筑能耗比重巨大且直接影响居住者热舒适,尤其受到关注。动态定价被视为激活需求灵活性的常用机制,相较于固定电价或分时电价,动态价格信号能更好地反映随时间变化的电网状况及供需平衡。
然而,现有研究存在三个关键空白。第一,许多基于CityLearn平台和多智能体强化学习(MARL, Multi-Agent Reinforcement Learning)的研究将电价视为外生输入,导致聚合商并未优化内部零售价格。第二,众多定价研究虽然考虑了用户需求响应,但未能在建筑社区模拟器中建模冷却舒适度。第三,对手建模和集中式批评网络虽可降低MARL的非平稳性,但在短时间尺度下的建筑需求响应中的实用价值仍不明确。此外,现实场景中必须平衡多方利益:若零售价格固定,聚合商无法将其用作协调信号;若价格无上限上涨,则可能通过向用户转嫁成本来创造模拟利润。因此,开展此项研究旨在建立一个既能保留建筑热响应特性,又能学习分层决策(包括零售定价、储能调度和冷却控制)的框架,从而量化虚拟零售聚合商与集中式建筑控制器之间的协调机制,并评估其在经济性、舒适性和碳排放等多维度上的性能权衡。
二、关键技术方法
研究人员采用了以下关键技术方法:
  1. 1.
    分层软演员-评论家(SAC, Soft Actor-Critic)框架:构建了一个两层的分层强化学习结构。上层控制器由虚拟零售聚合商充当,负责决定有界的内部零售价格和共享电池的充放电动作;下层为一个集中式控制器,负责联合控制社区内六栋建筑的冷却动作。
  2. 2.
    对手建模SAC(OM-SAC, Opponent-Modeling Soft Actor-Critic)扩展:在聚合商的批评网络中引入对建筑响应(即下层冷却动作)的预测,以增强聚合商决策时对用户反应的评估能力。
  3. 3.
    软奖励塑形变体:通过调整奖励函数权重(如增加用户保护惩罚项),探索不同偏好设置下系统的运行点变化。
  4. 4.
    基于CityLearn的仿真环境:所有实验均在CityLearn平台上实施,采用92个连续夏季日的小时级数据。研究区分了原始全周期分析和独立的时间顺序鲁棒性协议,后者使用60天训练、16天验证、16天完全未见的数据进行测试。
三、研究结果
5.1 训练收敛性
训练轨迹显示,各方法均能从初始探索阶段推进,但最终策略质量需通过固定策略部署和未见测试集评估。由于上下层控制器相互改变对方的奖励分布,训练曲线在初始探索期后仍存在波动。
5.2 主要性能比较
在原始的92天全周期比较中,所选的多智能体强化学习(MARL)策略相对于默认静态零售基线(B3-default),使用户成本降低14.1%,转移中性外部结算成本降低31.3%,平均温度误差降低29.0%,碳排放降低27.4%,同时维持正的聚合商利润。然而,此结果为回顾性样本内案例比较。在独立的未见测试集上,MARL的三种子均值使聚合商利润提高24.1%,用户成本、转移中性净成本和碳排放分别降低4.0%、24.5%和17.4%,但平均温度误差升高10.9%。更强的价格响应型静态规则在未见测试中实现了更低的用户成本、净成本、温度误差和碳排放,但聚合商利润更低。
5.3 动态定价与冷却响应
通过分析三天内的建筑负荷曲线发现,MARL并非统一削减冷却负荷,而是跨建筑和时段重新分配响应性需求,在不利价格和系统条件下抑制负荷,并在更有利的条件下允许有限的恢复。这种时间上的重塑解释了MARL在不统一压制冷却的情况下降低季节性成本和碳排放的原因。功率平衡对比显示,与B3-default相比,MARL减少了一些高负荷时段的建筑需求,并通过光伏和储能的配合改变了净负荷轨迹。
5.4 对手建模的效果
OM-SAC在季节比较中实现了最高的聚合商利润(2475.44 CNY),比MARL高约3.3%,比B3-default高11.7%。这表明向聚合商提供建筑响应信息可以使其策略转向更盈利的运行模式。然而,其用户成本和温度误差高于MARL,因此不应被描述为在所有指标上都占优的方法,而应被更准确地描述为一种有利于聚合商利润的扩展。
5.5 奖励变体比较
软奖励塑形的MARL变体在原始比较中产生了比基本MARL更高的利润,但其用户成本和温度误差也更高。它代表了介于基本MARL和OM-SAC之间的中间奖励偏好,而非硬约束下的最优解。
5.6 时间顺序鲁棒性与敏感性分析
组件消融实验表明:移除学习定价会使平均聚合商利润下降27.2%,转移中性净成本和碳排放上升;移除学习冷却会显著增加用户成本、净成本和碳排放(分别上升23.8%、34.5%和25.6%),但会提升利润并降低温度误差;移除电池调度对三个货币指标的影响小于0.4%。这些结果表明,学习定价主要支撑聚合商盈利能力,学习冷却主要贡献于成本-排放权衡,而电池调度在当前24小时回合协议下对货币指标的增量影响有限。
四、总结讨论与结论
研究提出的两层分层SAC框架为研究聚合商定价与建筑冷却灵活性之间的相互作用提供了一个仿真工具。原始92天比较保留了所报告的用户成本、净成本、温度误差和碳排放的改善。独立的时间顺序未见测试支持了相对于B3-default的正利润以及更低的平均成本和碳排放,但未能证明更低的平均温度误差。在未见测试中,当优先考虑用户成本、净成本、舒适度和碳排放时,更强的静态规则更可取;而当聚合商盈利能力和自适应协调同样重要时,分层SAC策略则提供了一种替代的运行策略。研究的结论是,在所描述的六栋建筑仿真中存在经济和排放方面的权衡,而非在所有指标或建筑社区中实现普遍优势。主要局限性在于六栋建筑的仿真规模、简化的热动力学模型、24小时回合长度以及缺乏真实建筑验证。未来工作将测试不同的建筑组成、多日终端条件、校准的经济合同、硬安全约束以及在更长控制时域下评估的储能设计。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号