考虑网络约束的聚合需求响应调度：基于约束马尔可夫决策过程的方法

《Scientific Reports》：Safe reinforcement learning for aggregated demand response control of emerging flexible resources in active distribution networks

　　摘要聚合需求响应是一个受约束的顺序控制问题，因为电动汽车、分布式电池、恒温控制负荷、柔性工业需求和表后光伏系统具有异构性、不确定性，并且连接到具有电压和热限制的馈线。我们将组合调度建模为一个受约束的马尔可夫决策过程，其中随机策略提出节点映射的聚合设定点，而加权投影根据线性化网络约束和聚合资源约束对每个提案进行修正。该投影的可行性仅适用于当前工作点的线性替代模型；它并不是对非线性馈线的硬性保证。条件风险价值项和测量的投影修正项阻碍了接近临界裕度的运行。在修改后的33节点馈线的归档合成案例研究中，报告的点估计将每日运营成本从152.3降至121.4美元/天，将显示的电网购售净负荷峰值从5.8降至4.7兆瓦，并将报告的可再生能源利用率提高至90.1%。归档的约束表包含两个超出限制的电压样本、一个支路过载事件、一个电动汽车离场短缺、一个舒适度事件，以及针对投影控制器的无储能状态事件。相应的机会计数、控制器时间分母、种子级记录和配对线性与非线性残差未被保留；因此，未做出任何违规百分比、置信区间或种子无关的性能声明。这些结果是来自所提供聚合输出的描述性证据。