考虑年度履约周期和市场响应的协同碳交易与发电决策:一种混合数学-深度强化学习优化方法

《Protection and Control of Modern Power Systems》:Synergistic Carbon Trading and Power Generation Decision Considering the Annual Compliance Cycle and Market Response: A Hybrid Mathematical-Deep Reinforcement Learning Optimization Approach

【字体: 大 中 小 】 时间:2026年01月07日 来源:Protection and Control of Modern Power Systems 11.9

编辑推荐:

  碳交易系统的年度履约周期允许发电公司(GenCos)将碳配额的购买时间与其实际排放脱钩。然而,单日交易大量配额可能会显著影响碳价格。面对不确定的未来碳价和电价,GenCos必须解决一个具有挑战性的多阶段随机优化问题,以协调其碳交易策略与日常发电决策。本文提出了

  
碳交易系统的年度履约周期允许发电公司(GenCos)将碳配额的购买时间与其实际排放脱钩。然而,单日交易大量配额可能会显著影响碳价格。面对不确定的未来碳价和电价,GenCos必须解决一个具有挑战性的多阶段随机优化问题,以协调其碳交易策略与日常发电决策。本文提出了一种两层混合数学-深度强化学习(DRL)优化框架。上层DRL层处理随机、整年的碳交易和配额使用优化问题,旨在实现长期最优性并为下层的短期决策提供指导。下层数学优化层处理确定性的日常发电调度问题,同时强制执行严格的技术约束。为了加速对年度履约周期的学习,提出了一种决策时间线迁移学习方法,使DRL智能体能够通过在月度、周度和日度决策环境上顺序训练,逐步完善其策略。案例研究表明,通过这些方法,GenCo可以通过有效利用履约周期内的碳价格波动来降低排放成本并增加利润。
碳交易系统(CTS)的年度履约周期允许发电公司(GenCo)灵活选择配额购买时机,但单日大量交易可能推高碳价,同时未来碳价和电价的不确定性使GenCo面临复杂的多阶段随机优化问题。现有研究多数忽略年度履约周期和市场响应,少数考虑其一但未联合处理,且传统随机优化方法难以求解365阶段问题。为此,研究人员提出了一种混合数学-深度强化学习(HMDRL)优化框架,上层采用DRL处理年度碳交易和配额使用,下层采用数学优化处理日常发电调度,并引入决策时间线迁移学习(DTTL)加速收敛。案例研究表明,该框架能利用碳价波动降低排放成本、提高利润,同时考虑市场响应以避免价格冲击。DTTL显著提升学习效率,风险控制和投机分解方法也得到验证。论文发表在《Protection and Control of Modern Power Systems》。

关键技术方法(不超过250字):(1) 两层混合数学-深度强化学习(HMDRL)框架,上层使用深度强化学习(DRL)进行年度碳交易和配额使用优化,下层使用数学优化(混合整数线性规划)求解确定性日发电调度问题,并强制执行发电机运行约束;(2) 决策时间线迁移学习(DTTL)方法,通过顺序在月度、周度和日度决策环境上训练DRL智能体,缓解年度周期导致的奖励稀疏问题,加速学习;(3) 针对碳交易动作范围不对称(如禁止卖出),采用对称范围、离群惩罚和分割动作输入到评论家网络的方法,消除探索噪声偏差并改善边界学习;(4) 配额-排放差异限值(AEDL)风险控制方法,通过惩罚超额偏差限制净头寸;(5) 事后投机与生产性交易分解(SPTD)算法,基于成本最小化假设将配额交易历史分解为投机和生产部分。样本数据来源:碳价格采用2022年欧盟排放交易体系(EU ETS)日价格数据,电价采用2022年中国广东现货市场小时级电价数据。

研究结果:
- Effect of Annual Compliance Cycle and Market Response:通过对比5种案例(Myopic方法与HMDRL方法,有无市场响应),研究发现HMDRL利用年度履约周期可降低平均碳买入价和电售价,提高总利润;考虑市场响应时,HMDRL将碳购买分散到多个低价格日,避免单日大量交易导致价格飙升;市场响应还能减少GenCo的年总排放。
- Verification of Decision Timeline Transfer Learning:对比DTTL与直接日度训练,结果显示DTTL学习速度显著更快,且在整个训练过程中始终优于直接训练,因为月度和周度环境提供更频繁的周期结束反馈;迁移后智能体表现良好,验证了相对时间状态表示的有效性。
- Effectiveness of the Measures for Asymmetric Carbon Trading Range:当碳交易范围不对称(如禁止卖出)时,TD3算法的探索噪声会导致动作偏差,造成持配额过高。采用对称范围消除偏差后,持配额恢复正常;进一步通过分割碳交易动作输入到评论家网络,智能体更敢于接近边界(如零买入),从而降低平均碳买入价并提高利润。
- Verification of AEDL Risk Control:设置不同AEDL值进行风险控制测试。结果显示,增加AEDL可提供更多灵活性,平均利润一般随AEDL增大而上升;允许投机时,利润标准差显著增加,而AEDL能有效控制该风险;在AEDL足够大时,GenCo的实际头寸差异不再受限制,利润趋于稳定。
- Speculation Analysis:采用SPTD算法分解交易历史,识别投机性购买和生产性购买。对比允许与禁止投机两种情形,发现允许投机时GenCo利润更高,但生产性配额买入价也更高(实际排放成本增加),导致总排放减少;投机行为还使碳价格波动降低(标准差减小),最小值上升、最大值下降,起到稳定市场的作用。

总结讨论部分:研究人员指出,在本文设定下,GenCo的投机行为有助于增加自身利润、稳定碳市场和减少排放,对社会有利。但投机会增加GenCo风险,可通过AEDL控制。翻译研究结论:本文在SCTPGD问题中同时考虑了碳交易系统的年度履约周期和市场响应,并使用结合DRL和数学方法的HMDRL优化框架进行求解。案例研究表明:HMDRL优化框架利用年度履约周期降低了GenCo的排放成本并提高了盈利能力。通过考虑碳市场响应效应,HMDRL帮助GenCo将交易分散到多天,避免对碳市场价格的严重影响。DTTL方法可以缓解配额短缺惩罚的稀疏性,并帮助智能体比直接学习方法学习得更快、更好。事后SPTD算法可以将配额交易历史分解为投机部分和生产部分,以分析GenCo的行为。在本文设定下,碳市场中的投机有助于增加GenCo的利润、稳定碳市场价格并减少GenCo的排放,这对GenCo和社会都有利。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号