提升双向并网微电网能量管理系统中软演员-评论家算法长视野信用分配的方法

《IEEE Access》：Improving Long-Horizon Credit Assignment in Soft Actor-Critic for Bidirectional Utility Grid-Connected Microgrid Energy Management Systems

　　

微电网能量管理系统（MG-EMS）负责协调多个微电网组件的运作。深度强化学习算法，如软演员-评论家（Soft Actor-Critic, SAC）算法，以离轨学习、最大熵和较高样本效率著称，并被用作MG-EMS中的控制智能体。然而，MG-EMS的复杂性以及双向并网伴随的进口与出口定价带来的额外复杂度，导致SAC智能体因长视野信用分配较弱而难以进行长期奖励传播，从而倾向于学习近期奖励信号。研究人员提出LHR-SAC方法以解决该问题，该方法将TD(λ)辅助评论家损失与基于采样序列通过反向递归计算的多步目标及自适应λ相整合，增强了标准SAC中的长期奖励传播与长视野信用分配。该方法在两种不同MG-EMS实验设置中评估，每种实验跨越不同预测视野，采用三项指标，并使用准确的进口与出口价格数据及含噪声预测条件。LHR-SAC智能体在含进口与出口定价的MG-EMS运行中优于标准SAC及先前的基于近端策略优化（Proximal Policy Optimization, PPO）的方法。LHR-SAC方法有益于需要长视野信用分配的MG-EMS任务。

研究背景方面，微电网（microgrid）作为边界明确的局部电网，整合了光伏等可再生分布式能源与电池储能系统，并通过双向并网实现与公用电网的能源进口与出口，使产消者（prosumer）能够依据动态电价优化经济收益。MG-EMS的三层分级控制中，第三层（tertiary control）负责长期经济性调度，是本研究焦点。深度强化学习（DRL）因对不确定可再生能源的鲁棒性被用于MG-EMS，其中SAC具备离轨、最大熵随机策略与连续控制优势。但在双向并网场景下，电池荷电状态（SOC）与动态进出口电价构成长距离时间依赖，标准SAC评论家采用单步自举软贝尔曼目标，延迟奖励需经多次单步更新才能回溯，导致弱长视野信用分配，智能体陷入近期奖励陷阱，例如在Export ON设置中倾向即时售电而非存能待用，反而抬高运行成本。为此，研究人员开展本研究以提升SAC在MG-EMS中的长期决策能力。

关键技术方法上，研究人员在Python-Microgrid环境基础上构建两种并网设置：Export ON（动态进出口电价）与Export Zero（仅进口电价）。状态空间含净负荷、负荷电流、光伏功率、SOC及未来N步进口价π^imp_t+k、出口价π^exp_t+k、电网状态g_t+k；动作空间简化为单维电池控制系数b_t，经净负荷P^net_t映射为电池功率P^batt_t，残差由双向电网clip补偿，规避不平衡模块惩罚。奖励为售电收入减购电支出减电池吞吐退化成本c^bat|ΔE^bat,int_t。核心改进LHR-SAC在SAC双评论家单步TD损失外注入TD(λ)辅助损失：从回放缓冲采样连续序列，以指数滑动平均估计奖励均值方差得到自适应λ，经反向递归得多步λ-回报目标，但不替换原软备份目标、不引入重要性采样。

研究结果部分，SECTION I引言阐明双向并网带来经济契机同时放大SAC长视野缺陷；SECTION II相关工作比对规则控制、模型预测控制（MPC）及DQN/PPO/TD3等DRL在MG-EMS的局限，指出既有λ-return与eligibility traces工作多脱离SAC熵正则与双评论家耦合，而LHR-SAC以辅助损失形式补强；SECTION III问题建模将MG-EMS列为离散间隔序贯决策，给出目标J(π_θ)=E_πθ[Σγ^tr_t]、状态式(2)、净负荷式(3)、动作式(4)(5)(6)及奖励式(7)(8)，并在SAC架构分析中用式(9)单步自举目标y=r_t+γ(1-d_t)(min_i=1,2Q_θ?i(s′,a′)-αlogπ_?(a′|s′))说明延迟奖励传播瓶颈，辅以Export ON中电池SOC扁平、即时出口的实证；SECTION IV LHR-SAC给出辅助损失设计、自适应λ反向递归流程及算法1、2伪代码；后续实验在两种设置下跨预测视野（准确/噪声）以运行成本、收敛性、鲁棒性三项指标评测，LHR-SAC均低于标准SAC与RRD-PPO，尤其在Export ON下消除近期奖励偏好，利用存能在高价时段避购电，验证长视野信用分配增强。

讨论与结论部分，研究人员总结：标准SAC在双向并网MG-EMS因单步TD目标致长视野信用分配弱，Export ON较Export Zero未获预期经济性；LHR-SAC通过TD(λ)辅助评论家损失与自适应λ反向递归多步目标，在不破坏SAC最大熵与双评论家结构下改善延迟奖励回溯，于含噪声预测仍保持优势。该成果发表于《IEEE Access》，意义在于为含进出口定价的三层MG-EMS第三层调度提供可嵌入选代SAC的轻量改法，避免替换主目标与离轨校正方差，对产消者电价响应型微网具直接应用价值。