《International Journal of Electrical Power & Energy Systems》：Stochastic online policy optimization for EV aggregators in ancillary services: A reinforcement learning approach with action space abstraction
编辑推荐：
本文提出了一种随机在线策略优化框架，利用无模型强化学习（Reinforcement Learning, RL）实现电动汽车（Electric Vehicle, EV）聚合器在二次频率调节（Automatic Generation Control, AGC）中的
本文提出了一种随机在线策略优化框架，利用无模型强化学习（Reinforcement Learning, RL）实现电动汽车（Electric Vehicle, EV）聚合器在二次频率调节（Automatic Generation Control, AGC）中的自适应控制。该框架包含两项主要贡献：第一，提出动作空间抽象（Action Space Abstraction, ASA）技术，将难以求解的连续动作马尔可夫决策过程（Markov Decision Process, MDP）转化为离散动作问题，从而支持轻量级在线Q学习（Q-learning）；第二，设计了一种动态状态感知奖励机制，根据瞬时电网状态动态调整惩罚权重，在关键事件期间优先保障频率稳定，在正常运行期间减少电池损耗。通过高保真联合仿真验证，Q学习智能体显著优于静态策略，并能稳健收敛于最优的、成本感知的调度策略。
研究人员提出了一种随机在线策略优化框架，利用无模型强化学习（Reinforcement Learning, RL）实现电动汽车（Electric Vehicle, EV）聚合器在二次频率调节（Automatic Generation Control, AGC）中的自适应控制。该框架包含两项主要贡献：第一，提出动作空间抽象（Action Space Abstraction, ASA）技术，将难以求解的连续动作马尔可夫决策过程（Markov Decision Process, MDP）转化为离散动作问题，从而支持轻量级在线Q学习（Q-learning）；第二，设计了一种动态状态感知奖励机制，根据瞬时电网状态动态调整惩罚权重，在关键事件期间优先保障频率稳定，在正常运行期间减少电池损耗。通过高保真联合仿真验证，Q学习智能体显著优于静态策略，并能稳健收敛于最优的、成本感知的调度策略。
**论文解读：基于动作空间抽象与强化学习的电动汽车聚合器辅助服务随机在线策略优化**
**一、研究背景与动机**
全球能源体系正经历深刻变革，以太阳能和风能为代表的可再生能源（Renewable Energy Sources, RES）大规模并网在推动电力系统脱碳的同时，也因其随机性和间歇性引入了显著的功率波动，并替代了传统同步机组的惯性支撑能力，对系统频率稳定构成严峻威胁。为维持频率稳定，系统对高速、灵活的辅助服务需求急剧增加。与此同时，交通领域的电气化进程使得电动汽车（Electric Vehicle, EV）车队成为一种广泛分布且规模可观的分布式能源资源（Distributed Energy Resource, DER）。通过聚合形成虚拟电厂（Virtual Power Plant, VPP），EV车队能够提供吉瓦级的电网平衡服务，其中以二次频率调节（Automatic Generation Control, AGC）最具代表性。这种车网互动（Vehicle-to-Grid, V2G）能力为解决频率稳定问题提供了变革性途径。
然而，实际部署中面临严峻的多目标优化冲突：聚合器必须精确跟踪调度机构的高频调度指令，同时缓解电池退化带来的非线性高额成本，并满足EV用户随机充电需求。这一动态过程构成了一个高风险的实时控制问题，具有深度环境不确定性、竞争性经济目标以及对瞬时自适应调度策略的迫切需求。
**二、现有研究不足与研究目标**
早期研究集中于集中式确定性优化方法。此类框架基于对市场价格或负荷曲线的完美预知，采用线性规划或动态规划等数学规划方法进行充放电调度。传统数学规划方法计算负担重，难以满足二次频率调节所需的秒级响应要求，集中式优化的算法求解时间极易消耗整个控制间隔，无法为实际通信与硬件执行留出可行的延迟预算。同时，此类方法对确定性预测的依赖在面对电网不平衡和AGC信号的高频随机性时从根本上失效。
随后发展的分散式与启发式策略，包括分布式智能体系统与频率下垂控制，虽具备可扩展性与快速响应能力，但其核心缺陷在于缺乏自适应性。此类控制器通常执行单一的静态策略，无法根据电网条件或车队约束的动态变化智能地在服务质量、电池退化成本与用户满意度之间进行权衡。
有限的适应性推动了强化学习（Reinforcement Learning, RL）在不确定电网与车队条件下的顺序EV调度中的应用。现有基于RL的方法或依赖神经网络函数逼近，或多阶段优化架构，或需要在连续或细粒度离散动作空间中直接探索，因此可能需大量离线训练和计算资源，安全冷启动探索及动态变化下的快速在线适应仍较困难。因此，一种轻量级、约束感知的在线学习框架仍是迫切需求，以减少动作搜索复杂度同时保持状态相关的自适应性。
**三、研究内容与主要贡献**
针对上述挑战，研究人员提出了一种随机在线策略优化框架，用于EV聚合器参与二次频率调节。主要贡献包括两项：
（1）基于动作空间抽象（Action Space Abstraction, ASA）的可解MDP：通过将连续动作MDP转化为有限离散动作问题，利用一组专家启发式策略作为候选动作集合，采用在线Q学习实现计算轻量化的控制结构。
（2）动态状态感知奖励机制：设计一种新型复合奖励函数以协调电网服务与资产保护之间的冲突目标，根据瞬时电网状态动态放大频率偏差惩罚权重，使智能体在关键事件期间优先稳定频率，在正常运行时最小化电池损耗。
**四、关键技术方法**
研究人员采用高保真联合仿真平台，集成动态电网模型、EV车队模型和随机信号模型。电网频率动态采用聚合摆动方程建模，参数参照标准IEEE 39节点基准系统配置。EV车队行为参数严格依据2017年美国全国家庭旅行调查（National Household Travel Survey, NHTS）和公开充电交易数据集拟合，包括到达时间、离开时间、日行驶距离等。核心方法包括：状态空间离散化（20×20网格）将连续状态转化为有限状态集；动作空间抽象将连续功率指令空间转化为5种专家启发式策略的离散集合；采用表格Q学习算法实现在线策略学习，并结合恒定探索率以应对环境非平稳性。奖励函数中通过状态依赖成本影响函数（State-Dependent Cost Impactor, SDCI）动态调整频率偏差权重。
**五、研究结果**
**5.1 性能评估与讨论**
研究人员将所提RL-AOP框架与三种基线策略（完美跟踪PT、电池优先BP、静态折中SC）进行对比，在一年随机仿真中采用三项关键绩效指标评估：电网调节性能（GRP）、聚合器跟踪误差（ATE）和归一化电池退化成本（BDC）。结果显示RL-AOP取得最低GRP为3.25 mHz，较SC策略的7.05 mHz显著改善；同时较PT策略降低69%的BDC，证明了学习得到的电网稳定与资产保护之间的最优权衡。
**5.2 鲁棒性与可扩展性分析**
车队规模敏感性测试表明，当车队容量不足时（N=500），RL-AOP通过约束感知的调度实现优于PT的GRP；当车队规模扩大至N=2000时，RL-AOP取得近完美的2.16 mHz GRP，且Q表规模不变、决策时间始终低于1 ms。对不同干扰水平的鲁棒性测试显示，RL-AOP能在低干扰场景偏向电池保护、高干扰场景主动承担更高退化成本以激进稳定频率，而静态策略无法自适应调整。动作空间粒度敏感性分析验证了K=5为性能与学习速度之间的有效“帕累托膝点”。内部SOC分布异质性测试表明，极化的SOC分布仅导致GRP从3.25 mHz轻微恶化至3.39 mHz，确认约束感知调度对内部异质性的鲁棒性。
**5.3 长期结构性变化的适应性**
30天机制转移仿真在第15天同时增大频率惩罚权重并降低电池退化成本系数。结果显示RL-AOP经历短暂性能下降后，约3天内通过持续探索机制自动重新收敛至新最优策略，证明了框架对长期环境漂移的适应能力。
**5.4 与先进基线的比较分析**
与模型预测控制（MPC）和深度Q网络（DQN）的对比显示：MPC获得最佳GRP为2.05 mHz，但每步平均计算时间1.82 s，违反2秒调度间隔要求；RL-AOP以2.16 mHz和0.24 BDC实现接近MPC的性能，同时保障实时可行性。与连续深度强化学习算法PPO和SAC的对比表明，RL-AOP在200个训练片段内收敛，比最佳连续DRL基线快约4倍，验证了ASA机制在快速在线部署方面的实践优越性。
**5.5 实际部署可行性**
通信与延迟预算分析显示，RL-AOP总回路延迟约250 ms，而MPC几乎消耗全部2秒预算。数据隐私方面，RL智能体仅使用聚合状态变量，天然保护用户数据隐私。与交通管理系统（TMS）的集成采用分层架构，TMS提供基线负荷预测，VPP聚合器管理高频调节偏差，两者接口解耦。
**5.6 可扩展性与复杂度分析**
RL推理时间复杂度为O(1)（相对车队规模N），功率分配为O(N)，总复杂度O(N)。经验验证显示即使对10,000辆车，RL-AOP计算时间仍低于10 ms，而集中式优化基准在N>2000时超过2秒控制间隔。
**六、讨论与结论**
所提RL-AOP框架通过动作空间抽象有效解决了实时调度的计算瓶颈，但限制了对连续控制精度的追求，相对于理论最优MPC存在约5.3%的调节保真度损失。然而，以三个数量级延迟降低换取这一微小的最优性牺牲，是确保实时调度环路物理可行性的必要工程折中。研究结论表明：RL-AOP策略取得了3.25 mHz的GRP误差，较静态折中基线的7.05 mHz显著提升；同时相对于完美跟踪策略累计BDC降低69%，有效弥合了电网服务与资产保护之间的鸿沟；相比标准DQN，动作空间抽象将学习收敛速度提升10倍（少于200个片段对比大于2000个片段），实现了低于5 ms的实时推理延迟，彻底解决了传统MPC固有的1.82秒算法瓶颈，严格满足实际二次频率调节中2秒调度间隔要求。未来工作将集中于利用深度强化学习直接管理连续状态空间，研究多智能体强化学习以实现考虑异构EV目标的分布式优化，并扩展智能体能力以协同优化频率调节与其他辅助服务。
