《Results in Engineering》：Toward Low-Carbon and Risk-Aware Mobile Energy Storage Systems Control: A Parallel Hierarchical Multi-objective Deep Reinforcement Learning Method
编辑推荐：
移动电池储能系统（Mobile Battery Energy Storage Systems, MBESS）利用时空灵活性增强电网韧性、促进可再生能源并网并提供经济效益。然而，MBESS运行优化需要在市场电价、交通状况及潜在数据稀疏性等重大不确定性下，平衡多个
移动电池储能系统（Mobile Battery Energy Storage Systems, MBESS）利用时空灵活性增强电网韧性、促进可再生能源并网并提供经济效益。然而，MBESS运行优化需要在市场电价、交通状况及潜在数据稀疏性等重大不确定性下，平衡多个相互冲突的目标——即经济效率、低碳运行与运行安全。为应对这些多面挑战，本研究提出一种基于深度强化学习（Deep Reinforcement Learning, DRL）的并行分层多目标马尔可夫决策过程（Parallel Hierarchical Multi-objective Markov Decision Process, PHMO-MDP）框架。该框架采用分层结构并结合参数化标量化方法，以显式管理底层运行任务与高层战略目标之间的权衡。此外，研究集成了基于生成对抗网络（Generative Adversarial Network, GAN）的数据插补模块，以有效处理缺失或稀疏的输入数据，增强状态感知的鲁棒性。最后，研究引入了基于幅值的模型剪枝策略，以提升DRL智能体的计算效率，加速收敛并降低推理延迟，从而实现实时应用的可行性。所提框架在IEEE 30节点系统上进行了测试。结果表明，与基线方法相比，所提方法在各目标间实现了更优的平衡，获得了更高的整体性能和稳定性，同时验证了GAN插补和模型剪枝组件的有效性。
研究背景与问题阐述：现代电力系统正经历深刻变革，旨在提升运行效率并大规模整合可再生能源。然而，风能、太阳能等资源的间歇性和波动性给电网调度与经济运行带来严峻挑战。移动电池储能系统（MBESS）凭借时空调度的高度灵活性，已成为应对上述挑战、平衡供需、增强电网韧性的关键技术。但MBESS的高效部署与控制仍面临实际困难：运行决策须在电价波动、交通状况、运行风险及碳排放等复杂不确定性下实现优化。现有MBESS控制策略分为基于模型和数据驱动两类。基于模型的技术依赖精确的物理模型刻画电力系统、交通网络及电池本身动态，虽在特定场景有效，但存在计算需求高、依赖精确系统参数、难以应对高度不确定环境等局限。数据驱动方法则利用深度强化学习（DRL）在动态不可预测环境中增强决策能力，现有研究多聚焦于利润最大化，未能充分兼顾环境策略安全性考量的多重目标优化需求。
研究开展与核心贡献：为应对MBESS运行中多目标平衡与实际部署瓶颈，研究人员提出了一种并行分层多目标马尔可夫决策过程（PHMO-MDP）框架。该框架旨在实现三个核心控制目标：经济盈利性——最大化市场套利收益并最小化空间运输和电池降解成本；环境可持续性——通过充电行为与低电网排放因子时段主动对齐，最小化整体碳足迹；运行安全性（风险感知）——缓解电价波动性相关的尾部风险并限制严重的放电深度（Depth-of-Discharge, DOD）。具体贡献包括：第一，提出基于参数化标量化的PHMO-MDP模型，明确管理底层运行目标与高层战略目标之间的复杂交互，促成可解释且平衡的决策；第二，集成基于生成对抗网络（GAN）的数据插补模块，有效处理实际MBESS运行中常见的稀疏或缺失输入数据，增强策略在真实数据不确定性条件下的鲁棒性；第三，引入模型剪枝策略提升DRL模型的计算效率，加速训练收敛并降低推理延迟，使先进多目标框架适用于近实时MBESS调度应用。
关键技术方法：研究基于IEEE 30节点系统构建测试环境，模拟数据来源于澳大利亚能源市场运营商（AEMO）负荷曲线，伴随节点26光伏（Beta分布）和节点28风机（Weibull分布）的不确定性出力。数据插补模块的训练基于100个模拟日运行样本（含节点电价和状态变量），按80%训练集和20%测试集划分。控制算法层面，PHMO-MDP框架适配至双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient, TD3）和深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）算法，核心动作网络与Q网络采用多层感知机结构，配合经验回放缓冲区（Replay Buffer）进行离线训练。状态空间涵盖时间索引、出发地、目的地、电池荷电状态（State of Charge, SoC）及电价信息；动作空间包含离散移动动作和连续充放电动作。
研究结果分析——不同控制方法比较：为验证PHMO-MDP框架有效性，研究人员将PHMO-TD3和PHMO-DDPG与标准DDPG、标准TD3及模型预测控制（MPC）进行对比，评估场景包括单日短期运行和七日长期运行。结果表明，PHMO-TD3相较于标准TD3，单日场景下平均奖励提升5.7%-6.1%，标准差降低30%-33%；七日场景下平均奖励提升6.2%-6.6%，标准差降低8%-14%。Welch双样本t检验显示，PHMO-TD3相对于最优DRL基线（TD3）和MPC框架的改进具有高度统计显著性（p<0.01）。训练收敛曲线进一步证实PHMO方法收敛更快、最终奖励水平更高、稳定性更强。
研究结果分析——不同数据插补方法比较：研究比较了无插补、多层感知机（MLP）、卷积神经网络（CNN）、长短期记忆网络（LSTM）及所提GAN插补五种策略。在20%缺失率下，GAN方法在均方根误差（RMSE）和平均绝对误差（MAE）指标上均表现最优。控制性能方面，无插补方法平均奖励最低、标准差最高；MLP插补使奖励提升4.0%-4.4%；CNN和LSTM进一步改善性能，其中LSTM略优于CNN；GAN插补则 consistently 实现最高平均奖励和最佳稳定性。在10%和30%缺失率下的拓展实验中，当缺失率升至30%时，无插补及基线方法性能显著下降，而GAN方法仍维持高平均Reward和竞争性稳定度，彰显其在极端不确定性下的优越鲁棒性。
研究结果分析——模型剪枝方法验证：研究比较了未剪枝版本、90%稀疏度、80%稀疏度和70%稀疏度四种条件下的学习过程。结果显示，未剪枝模型收敛最慢；90%稀疏度较未剪枝版本加速收敛且保持高最终奖励；80%稀疏度提供更显著的收敛加速，使模型显著早于MPC性能基准达到收敛，且最终奖励与较少剪枝版本相当；70%稀疏取而代之的是最终收敛奖励出现明显退化。该比较证实约80%稀疏度在效率增益和性能保持间达到有利平衡，模型剪枝策略显著提升了 Strawman PHMO智能体的训练效率。
研究结果分析——强化学习超参数影响：研究分析了策略网络学习率、Q网络学习率和探索参数?的影响。策略网络学习率5×10
-5、Q网络学习率5×10
-4可在稳定性与收敛速度间取得良好平衡；?=0.20时利润最高，在充分探索与利用已知奖励间达到平衡。对高层经济权重β
e的敏感性分析显示，当β
e从0.2增至0.5时，平均利润大幅增长而风险增长相对缓慢；但β
e超过0.5继续增至0.8时，利润增长呈现边际递减效应，而运行风险急剧上升，表明激进追求边际利润将使MBESS暴露于不成比例的高财务风险中。该结果证明了参数化标量化允许操作者基于特定风险偏好灵活调节控制策略的特性。
结论：本研究提出的PHMO-MDP框架通过参数化标量化实现分层奖励结构，集成GAN鲁棒数据插补模块应对观测缺失，并采用基于幅值的模型剪枝策略提升计算效率，有效优化了MBESS运行，实现了经济收益、低碳运行和安全性的平衡。仿真结果验证了：（1）所提分层奖励结构较直接优化仅高层目标显著增强整体控制性能和稳定性；（2）集成GAN插补模块有效缓解缺失数据的负面影响，性能优于基线插补方法或无插补策略；（3）模型剪枝策略成功加速训练收敛同时保持最终控制策略的质量，确认其对计算效率的贡献。未来工作将聚焦硬件在环验证、自适应标量化机制，以及面向大规模MBESS网络的多智能体深度强化学习扩展。
