可再生能源驱动的配备移动充电机器人的微电网中的调度与能源管理：一种结构感知的强化学习方法

《Sustainable Energy Technologies and Assessments》：Scheduling and energy management in a renewable-energy-driven microgrid with mobile charging robots: A structure-aware reinforcement learning approach

　　

•移动充电机器人调度问题被建模为具有混合动作空间的问题。
•机器人任务分配与充电坞级充电功率控制之间的耦合关系被显式建模。
•结构感知PPO算法采用可行性掩码、顺序分配和门控控制机制。
•该方法在利润和成本-收益权衡方面优于混合动作基线方法。

引言

电动汽车（EVs）的广泛采用正在加速交通运输系统的电气化进程，同时也对现有电力基础设施提出了重大运营挑战[1]。在需求侧，电动汽车的充电请求在到达时间和能量需求方面具有固有的随机性，常常在高峰用电时段形成集中的充电峰值。在供给侧，光伏（PV）和风电等可再生能源渗透率的不断提高，给微电网运行引入了显著的间歇性和不确定性。不确定的充电需求与波动的可再生发电并存，可能加剧峰值负荷、增加可再生能源弃电，并对配电网施加额外压力[2]。因此，减轻电动汽车充电对电网的影响、适应可再生能源的不确定性以及提升用户体验，仍然是下一代充电系统面临的关键挑战。

为应对上述挑战，移动充电机器人（MCRs）已成为下一代充电系统的一种有前景的架构解决方案[3]。该方法的核心理念是从固定充电站传统的"车找桩"模式转向"桩找车"范式，使充电站能够在停车设施内实现灵活且按需的能量输送。更重要的是，当与微电网中的可再生能源集成时，MCRs不仅充当服务提供商，还作为移动储能单元，在时间上解耦电动汽车充电需求与实时能量供应。通过自主在停车位与充电坞之间导航，MCRs可在可再生能源富余时吸收多余发电，随后根据服务请求将储存能量分配给电动汽车。这种运营灵活性缓解了充电负荷的直接聚合，提高了可再生能源利用率，并减少了高峰时段对电网电力的依赖。从用户角度来看，自动化充电服务消除了手动插拔操作，使电动汽车车主在提交充电请求后可以立即离开，从而提升了便利性和整体服务体验[4]、[5]。

除运营灵活性之外，基于MCR的充电系统还具有新兴的经济效益。传统固定充电基础设施需要大量的前期投资，并将每个充电单元永久分配至特定停车位，往往导致利用率低下[6]。相比之下，MCRs能够根据实时需求动态分配充电容量，提高利用效率并减少冗余的基础设施投资。随着机器人技术的不断进步和硬件成本的下降，机器人支持的移动充电越来越被视为一种具有可扩展性和经济可行性的未来充电系统部署方案[3]。

尽管具有上述优势，运营配备MCRs的可再生能源驱动微电网仍涉及巨大的决策复杂性。系统运营商必须同时确定多台MCRs的任务分配以及相应充电坞的充电功率水平，从而形成一个包含离散变量和连续变量的混合决策空间。更为关键的是，这些决策涉及不同的实体（MCRs和充电坞），且在结构上耦合而不是一一对应的。具体而言，离散的任务分配决策决定了哪些充电坞被激活，并约束了相关连续功率控制动作的可行域；而连续的充电决策则影响MCRs未来的能量状态和服务能力。这种双向的间接耦合在空间、时间和能量维度上引发了复杂的结构依赖性，使得协同调度尤为困难。

现有研究考察了移动充电系统和微电网运营的各个方面，但其建模假设与本文所考虑的高度耦合场景存在显著差异。在移动充电领域，大多数研究聚焦于车队规模确定[7]、路径优化[8]，或城市服务网络中的任务分配[8]、[9]、[10]、[11]，主要关注运输效率和运营商收入。在这些研究中，移动充电设备通常被建模为独立于微电网级能量调度的服务车辆，任务执行与可再生能源管理之间的相互作用很少被考虑。相反，关于可再生能源驱动微电网的研究主要集中于最优能量调度、弹性运行和需求侧能量管理[12]、[13]、[14]，以及固定充电基础设施的充电功率控制[15]、[16]，其中决策变量主要为连续的，且不存在空间任务分配问题。即使在与本文密切相关的相关研究中，如[4]中关于公共停车设施内MCRs调度的研究，问题主要被建模为顺序任务分配过程，而未明确纳入微电网级能量管理或可再生能源集成。因此，离散MCRs分配与连续充电坞级功率控制之间的结构互赖性在很大程度上尚未被探索。

从方法论角度来看，传统优化方法，包括数学规划、元启发式算法和模型预测控制，已被广泛应用于电动汽车调度和微电网能量管理[11]、[17]、[18]、[19]、[20]。这些方法通常依赖于系统动力学的精确模型，并且往往需要混合整数公式来处理离散决策。在多MCR系统中，基于优化的控制必须反复求解耦合的分配和能量调度问题，其计算需求取决于系统规模和规划时域。学习策略提供了一种替代方案，通过直接将观测状态映射到调度决策，而无需在每一步求解优化问题。强化学习（RL）提供了这种基于策略的方法，通过从交互数据中直接学习自适应决策[21]、[22]、[23]、[24]。然而，标准RL算法主要设计用于纯离散或纯连续动作空间，通常难以建模和优化紧密耦合的混合决策过程。为克服这一局限，越来越多的工作聚焦于混合动作RL框架。参数化动作方法将连续参数与选定的离散动作相关联[25]、[26]；混合演员-评论家和HPPO类方法使用离散和连续策略分支[27]；HyAR学习离散动作及其连续参数的紧凑潜在表示[28]。这些方法为离散-连续决策提供了通用机制，但它们本身并未编码本文所考虑的动作拓扑结构：机器人分配向量决定了跨机器人排他性，并激活一组充电坞级功率控制，而持续的充电坞占用可以在不依赖新分配的情况下独立保持连续维度激活。现有的动作掩码方法移除无效选择，顺序多智能体策略则分解结构化联合决策[29]、[30]。然而，这些技术并未直接处理多MCR分配和持续性自充电占用所引发的充电坞级连续控制的条件激活问题。SA-HPPO通过在一个统一的混合策略中集成可行性感知分配、无冲突顺序生成和充电坞活动感知连续控制，来解决这种耦合拓扑结构。

本研究通过混合动作马尔可夫决策过程（MDP）和结构感知策略来解决耦合的分配与能量管理问题。主要贡献如下：

(1) 为配备MCRs的公共停车设施建立了可再生能源驱动微电网架构，其中移动充电服务与充电坞级能量管理被联合建模。通过显式刻画机器人任务分配与充电功率调度之间的相互作用，将运营过程建模为顺序混合决策问题，并建模为MDP。

(2) 开发了结构感知混合近端策略优化（SA-HPPO）算法，用于处理耦合的MCR-充电坞动作拓扑。其贡献在于问题结构化的集成了三种机制：可行性掩码移除环境不可行的机器人分配；顺序无冲突生成强制执行跨机器人目标排他性；充电坞活动感知门控将连续功率控制条件于新分配和持续性充电坞占用之上。

(3) 使用真实可再生能源发电、负荷和电价数据的数值实验，将SA-HPPO与混合动作学习方法、贪婪策略和基于优化的基准进行对比。大量额外实验评估了算法在一系列运行条件下的泛化能力和鲁棒性。

本文其余部分组织如下。"问题建模"部分呈现问题建模并将协同调度问题建模为MDP。"所提算法"部分介绍所提出的SA-HPPO算法。"数值实验"部分报告数值实验，包括性能对比、代表性回合分析、消融实验和敏感性分析。"讨论"部分考察可扩展性、机器人处理顺序以及对未见需求分布和电价分布的泛化能力。最后，"结论"部分总结全文并讨论未来研究方向。

章节摘要

问题建模

本文研究一个由光伏、风电和MCRs组成的可再生能源驱动微电网系统。系统的运营框架如图1所示，由四个核心组件组成：MCRs、充电坞、停车位和机器人仓库。MCRs优先从本地可用的可再生能源进行自充电，当可再生发电量不足时则从主电网取电。当电动汽车用户需要充电服务时，他们将车辆停放在——

所提算法

在本文所述配备MCRs的可再生能源驱动微电网中，动作空间是混合的，包括离散的机器人任务分配和连续的充电坞功率控制。参数化动作、混合演员-评论家和潜在表示方法为离散-连续动作提供了有用的通用处理方案[25]、[26]、[27]、[28]。此处的拓扑结构有所不同：离散分支将多台MCRs分配至共享的、受容量约束的目标，而连续的——

实验设置

仿真环境使用Python 3.13、PyTorch 2.8.0和Gymnasium 1.2.0实现。所有实验均在配备M3 Pro芯片的MacBook Pro上运行。每种基于学习的方法使用五个随机种子进行训练和评估。贪婪策略和PF-MILP/RH-MILP基准在每个测试场景中评估一次，不重复训练种子运行。环境中使用的外生时间序列数据，包括光伏生成量、风电输出、辅助负荷和时变的——

可扩展性分析

通过扩展示名配置（从六台MCRs、四个充电坞和十二个停车位扩展至八台MCRs、六个充电坞和二十个停车位），进一步检验了调度框架的可扩展性。在相同的实验协议下重新训练和评估HPPO、PAPPO和SA-HPPO，并将贪婪策略作为确定性参考包含在内。名义结果见表1，扩展规模结果汇总于附录D的表D.3。

在扩展规模下，——

结论

本文将协同MCR任务分配与充电坞级能量管理建模为混合动作MDP，并开发了SA-HPPO以兼顾可行性、机器人间排他性和充电坞依赖的连续控制。在名义测试中，SA-HPPO在所比较的基于学习和贪婪策略中实现了最高平均利润，决策时间为亚毫秒级。利用额外未来信息的前瞻优化可获得更高利润。进一步的实验表明该——

CRediT作者贡献声明

Taiwei Shi：写作——审阅与编辑，写作——初稿，可视化，验证，软件，方法论，形式分析，数据整理，概念化。
Yingjun Shen：监督，调查研究。
Zhe Song：监督，调查研究，资金获取。
Andrew Kusiak：监督，调查研究。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

Taiwei Shi | Yingjun Shen | Zhe Song | Andrew Kusiak