《Energies》：Incentive-Based Integrated Demand Response and Distributionally Robust Optimization for Enabling Economic Dispatch of Integrated Energy Systems
编辑推荐：
源荷波动对综合能源系统（integrated energy system，IES）调度的经济性具有显著影响。现有研究主要通过系统侧运行优化和资源配置来缓解供需匹配压力，由此产生两个关键问题：一是需求侧资源的调节潜力尚未被充分挖掘，二是系统侧与需求侧的协调调控仍
源荷波动对综合能源系统（integrated energy system，IES）调度的经济性具有显著影响。现有研究主要通过系统侧运行优化和资源配置来缓解供需匹配压力，由此产生两个关键问题：一是需求侧资源的调节潜力尚未被充分挖掘，二是系统侧与需求侧的协调调控仍显不足。针对上述问题，本文提出了一种考虑激励型综合需求响应（incentive-based integrated demand response，IBIDR）模型的IES两阶段优化框架。首先，建立了由日前阶段和日内阶段构成的两阶段优化框架，从全局层面整合了需求侧IBIDR与系统侧经济调度。其次，在日前阶段，提出了考虑多能源需求耦合与消费者双向响应特性的IBIDR模型。该模型采用多智能体近端策略优化（multi-agent proximal policy optimization，MAPPO）算法，充分挖掘需求侧资源的调节潜力，进而生成面向需求侧资源的激励策略。最后，在日内阶段，进一步提出了分布鲁棒优化（distributionally robust optimization，DRO）模型以应对源荷不确定性，其中采用了基于不精确狄利克雷理论（imprecise Dirichlet theory，IDT）构建的风力发电（wind power generation，WPG）模糊集来表征WPG的不确定性。实验结果表明，所提框架能够增强IES在源荷波动下的调节能力和经济性能。IBIDR模型可准确刻画消费者的多能源响应特性，MAPPO算法可生成有效的激励策略以鼓励消费者参与IBIDR，而IDT模糊集则改进了WPG不确定性表征并降低了调度保守性。
一、研究背景与现存问题
随着全球低碳能源转型的推进，风力发电（WPG）在电网中的渗透率持续提升，但受复杂气象条件影响，WPG表现出显著的波动特性。与此同时，消费者用能模式日趋多样化，导致多能源负荷需求的变化更为复杂。源荷两侧的动态变化增加了预测难度，可能影响电力系统运行的安全性与稳定性。综合能源系统（IES）作为连接源荷的重要实体，通过电、热、气多种能源的转换与利用，凭借多能互补与灵活调节的优势，在一定程度上促进了可再生能源消纳并增强了应对负荷波动的调节能力。然而，随着源荷波动量的增大，调节需求可能超出调节容量，甚至通过多能耦合关系传播至整个IES，进一步加剧供需协调的难度，严重影响IES的经济调度性能。
现有研究主要从系统规划、运行和调节机制等角度寻求解决方案。在系统侧，现有工作侧重于运行优化与资源配置，虽然能在一定程度上提升系统的调节能力，但主要依赖系统侧资源被动应对已有的源荷波动，未能充分利用能够主动塑造负荷行为的需求侧资源。在需求侧，已有学者提出了若干新型调节机制，如微电网能量管理系统和基于点对点交易的社区能量共享协调方法，但这些方法要么未充分考虑消费者自愿参与的意愿，要么价格信号缺乏来自系统调节需求的引导，限制了需求侧资源调节潜力的发挥。
此外，激励型综合需求响应（IBIDR）作为一种重要的需求侧调节机制，可通过设计灵活的激励策略实现更具针对性的响应调控。然而，IBIDR受到多能耦合关系的影响，且需要对消费者在激励价格下的差异化响应行为进行准确刻画。现有研究在双向响应特性方面考虑不足，既无法准确描述消费者的实际响应过程，也可能限制IBIDR模型对系统运行性能的提升效果。同时，运营商与消费者之间的交互决策显著增加了激励策略优化的难度，现有方法通常基于给定运行条件确定激励策略，系统运行状态变化时可能需要重新计算或更新决策过程，难以快速调整。深度强化学习（DRL）为解决这一问题提供了新途径，但现有算法在处理连续动作空间或多智能体协同决策时存在收敛不稳定或难以平衡局部决策与全局协调等问题。
在不确定性处理方面，随机优化（SO）依赖于难以准确获取的概率分布，鲁棒优化（RO）基于最坏情况决策可能导致过于保守的结果，可调鲁棒优化（ARO）的性能高度依赖参数设置，而分布鲁棒优化（DRO）虽能平衡经济性与鲁棒性，但其模糊集的构造方式仍有待改进——传统矩约束方法忽略样本实际分布形状，Wasserstein距离法在小样本条件下易导致模糊集过度扩张。
二、研究内容与结论
针对上述问题，本文提出了一种基于MAPPO-IDTDRO的两阶段优化框架。研究表明，日前与日内阶段的协调能够增强IES应对源荷失衡的调节能力并改善经济运行；IBIDR模型通过考虑多能耦合与双向响应特性可提供更大的响应灵活性；MAPPO通过多智能体交互学习协调决策，提升了需求侧调节潜力的利用水平；IDT模糊集充分利用历史样本统计信息，将其融入DRO后可降低保守性并提高IES调度经济性。
三、关键技术方法
研究人员构建了一个包含日前和日内阶段的两阶段优化框架。在日前阶段，采用MAPPO算法求解IBIDR中的激励策略优化问题，将电、热、气各能源子系统建模为独立智能体，通过集中式训练与分散式执行机制实现全局协调。在日内阶段，基于IDT利用WPG历史样本数据构建模糊集，通过贝叶斯理论计算后验概率期望值，结合置信区间确定WPG不确定性边界，并将其与电、热、气负荷的盒式不确定集共同构成联合不确定集，最终采用列与约束生成（C&CG）算法分解求解DRO模型。
四、研究结果
4.1 IBIDR中激励策略的优化性能
在RL算法性能对比方面，MAPPO相比MADDPG和MADQN实现了最快的奖励增长、最稳定的收敛和最高的最终奖励。MAPPO的平均奖励最高且标准差最小，表明其具有更优的奖励性能和训练稳定性。在测试性能方面，MAPPO实现了最高的IESO收益，较MADDPG和MADQN分别提升21.91%和26.21%，同时激励成本最低。各算法的测试时间差异较小，均在短时间内完成策略决策。
在不同响应机制对比方面，考虑多能耦合后IESO收益增加4.76%；引入双向响应机制后IESO收益进一步增加9.97%。这表明多能耦合与双向响应机制提升了需求侧调节能力，有助于更有效地优化IBIDR中的激励策略。
在负荷响应分析方面，电力负荷的激励价格随时间呈现与WPG出力相似的变化趋势，同时受电价和负荷需求影响。热负荷和气负荷的激励策略主要受负荷需求变化影响，随负荷需求增加而提高。
4.2 基于IDT模糊集的DRO调度性能
在不同样本规模下，IDT模糊集随样本量增加而逐渐收窄，表明WPG不确定性表征的保守性降低。当使用1000个WPG样本时总调度成本最低，且总调度成本随样本量增加而逐步下降。
在不确定性优化方法对比方面，IDTDRO在源荷不确定性下实现了最低的总调度成本，较RO降低28.72%。SO的计算时间极长，而RO、ARO和IDTDRO的计算时间相近，但IDTDRO以略微增加的计算时间换取了更低的总成本。
4.3 两阶段优化性能
与仅从系统侧进行优化调度的方案相比，基于MAPPO-IDTDRO的两阶段优化框架使总调度成本降低11.85%，表明该框架能够挖掘需求侧调节潜力并显著改善IES运行的经济性能。
4.4 敏感性分析
PPO裁剪参数设置为0.20时可获得最高的平均奖励和最快的收敛速度。可调鲁棒性参数从4增至12时总调度成本增加11.33%，取值为8可作为经济性与鲁棒性之间的折中。多能源负荷预测偏差从10%增至30%时总调度成本增加18.04%，其中日内调节成本占增量的约84.31%。
五、讨论与结论
讨论部分指出，实验结果从不同角度验证了本研究的贡献。两阶段框架通过与不含IBIDR的框架对比证明了协调日前需求侧调节与日内系统侧调度的有效性。IBIDR机制对比表明多能耦合与双向响应改善了运行效益并减少了弃风。MAPPO相比MADDPG和MADQN取得了更优的奖励性能和训练稳定性。IDTDRO相比其他不确定性优化方法取得了更好的经济性能，且模糊集随样本量增加而逐步精炼。未来工作将把所提两阶段优化框架扩展至配电网或多个IES，以充分发挥多层级和多区域调节资源的协调潜力。
研究结论如下：（1）所提出的MAPPO-IDTDRO两阶段优化框架实现了日前激励策略优化与日内经济调度的有效协调，相比仅进行系统侧调度优化，使IES经济调度成本降低11.85%。（2）IBIDR模型可准确刻画消费者的多能源响应特性，MAPPO算法可学习合理的激励策略鼓励消费者参与IBIDR。考虑多能耦合后IESO收益增加4.76%，引入双向响应机制后IESO收益进一步增加9.97%。MAPPO在训练收敛速度、稳定性和最终策略性能方面均优于基准算法，并以最低的激励成本使IESO收益较MADDPG和MADQN分别提升21.91%和26.21%。（3）所提出的IDT模糊集可有效表征WPG不确定性，随着WPG样本数量增加，模糊集变窄，调度保守性降低。
