基于联邦多智能体深度强化学习的充电站约束聚合优化方法

《Journal of Cleaner Production》：Constrained aggregated approach for charging station using federated multi-agent deep reinforcement learning

　　

随着电动汽车（Electric Vehicle, EV）保有量的快速增长，电力系统面临即时负荷冲击与配网运行安全的双重挑战，亟需构建协调的需求响应（Demand Response, DR）框架以兼顾电网稳定与用能优化。研究人员提出了一种联邦学习约束深度强化学习（Federated Learning Constrained Deep Reinforcement Learning, FLCDRL）框架，将各充电站（Charging Station, CS）视为本地智能体，在本地安全层约束下优化充放电计划，并周期性将模型参数上传至中央聚合器以更新全局策略。在定价机制方面，该框架实现了充电站与配电系统运营商（Distribution System Operator, DSO）之间的动态市场驱动协调，支持能量投标与灵活性响应。同时，强化学习（Reinforcement Learning, RL）模型中的安全层可管理馈线电压，使本地智能体在自主学习过程中遵循电压平衡策略，参与全局共识形成。仿真结果表明，基于双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient, TD3）的智能体能够将EV充电需求有效转移至负荷低谷时段，在降低运行成本的同时确保电网安全。与传统方法相比，该隐私保护框架在多站EV充电调度中显著提升了荷电状态（State of Charge, SOC）满意度约8.3%，并在不同场景下维持电压限值及公平配置。该方法在面对未满足需求、分时电价（Time Of Use, TOU）及联邦模型比较时表现出鲁棒性与公平分配能力，并确保满足EV的SOC需求。未来工作将进一步结合可再生能源（Renewable Energy Source, RES）的不确定性感知协调与动态定价机制，以提升系统韧性。

研究背景方面，近年来电动汽车（EV）的大规模接入给电力系统带来了显著压力，尤其是在负荷峰值时段容易引发电压越限和设备过载。传统集中式优化方法依赖实时数据传输至中央控制器，虽然能够实现全局协调，但存在通信瓶颈、扩展性不足以及用户隐私泄露风险。分布式强化学习（RL）方法虽可减少部分集中依赖，但仍需在训练和执行阶段频繁交换状态信息，导致通信成本高企。与此同时，现有研究多关注单一目标优化，较少综合考虑电网安全约束、市场机制与用户隐私保护，尤其在商业级充电站场景中，缺乏兼顾多目标的统一解决方案。因此，研究人员认为有必要构建一种能够在多站环境下实现隐私保护、满足电网安全约束并优化运营成本的充电调度框架。

关键技术方法方面，研究人员采用联邦学习（Federated Learning, FL）与深度强化学习（Deep Reinforcement Learning, DRL）相结合的多智能体架构，每个充电站作为独立智能体在本地完成模型训练，仅共享模型参数而不传输原始数据，从而保障用户隐私。在算法层面，引入双延迟深度确定性策略梯度（TD3）作为核心优化方法，并在每个智能体中嵌入安全层，以执行电压与热约束校验。实验基于IEEE-33总线系统进行仿真，配置了光伏（Photovoltaic, PV）与分布式发电机（Distributed Generator, DG），并设定动态电价与市场出清机制，以评估不同调度策略的性能。

研究结果部分，首先在Proposed approach中，研究人员构建了包含焦虑模型的充电决策框架，在本地安全层约束下通过联邦平台学习最优充电速率，验证了多站环境下的可扩展性与隐私保护能力。OPF model方面，建立了考虑节点功率平衡与电压降约束的最优潮流模型，确保在满足电网安全边界条件下实现经济调度。Federated deep reinforcement learning部分，研究人员设计了站级与配电系统运营商（DSO）级的双层优化结构，站级智能体解决约束马尔可夫决策过程（Constrained Markov Decision Process, CMDP）问题，DSO级负责能量平衡与信息交互。Case study结果显示，所提方法在降低峰谷差、减少运营成本方面优于传统分时电价（TOU）与无协调机制，SOC满意度提升约8.3%，电压偏差降低5-7%，并在不同场景下保持公平性指标稳定。Conclusion部分指出，FLCDRL TD3方法能够在多充电站环境中实现稳定、低成本的EV调度，并兼顾电网安全与用户满意度。

讨论与结论翻译部分，研究人员总结认为，提出的联邦多智能体深度强化学习方法有效解决了大规模EV充电调度中的隐私保护与电网安全约束问题，在保证用户需求满足度的同时降低了运营成本与电压波动风险。该方法兼具良好的扩展性与公平性，适用于未来含高比例可再生能源的电力系统。未来研究应进一步纳入长期季节性需求变化与电池老化因素，以增强模型的适应性与预测精度。