《Electronics》：A Multi-Objective Deep Reinforcement Learning Approach for EV Charging Optimization Considering Transformer Lifespan
编辑推荐：
随着电动汽车（Electric Vehicles, EV）大规模接入电网，集中式EV充电加速了配电变压器的寿命损失（Loss of Life, LOL）。需要在降低变压器LOL的同时优化用户体验，从而构建了考虑变压器LOL的EV充电优化（EV Charge O
随着电动汽车（Electric Vehicles, EV）大规模接入电网，集中式EV充电加速了配电变压器的寿命损失（Loss of Life, LOL）。需要在降低变压器LOL的同时优化用户体验，从而构建了考虑变压器LOL的EV充电优化（EV Charge Optimization Concerning Transformer LOL, ECOTL）问题。然而，由于其多目标权衡、非线性、不确定性以及对时间敏感在线控制的特征，ECOTL问题在获取高质量帕累托前沿（Pareto Front）、获得鲁棒解及提高求解速度方面面临严峻挑战。为此，研究人员提出了一种多目标多智能体深度强化学习（Multi-Objective Multi-Agent Deep Reinforcement Learning, MOMADRL）方法，为每个智能体部署多个评论家（Critics）和演员（Actors）。训练期间，Critics学习具有不同偏好的价值函数并指导相应的Actors专门学习最优策略以更新其策略。充分训练后，每个Actor在测试阶段能确定特定偏好的充电策略。基于真实电价和负荷数据的案例研究表明，与传统多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MADRL）方法相比，所提方法在训练集上实现了更好的收敛性能。此外，在测试的仿真条件下，该方法比基于学习的基线方法获得了更好的帕累托前沿近似，同时提供了快速的在线推理。
该研究背景源于全球变暖加剧与化石能源枯竭背景下，电动汽车（Electric Vehicles, EV）凭借零尾气排放与低化石燃料依赖优势实现市场渗透率快速提升，国际能源署（International Energy Agency, IEA）数据显示2023年全球EV销量达1400万辆，占乘用车总销量20%。然而EV大规模普及给配电网（Distribution Networks, DNs）安全稳定运行带来严峻挑战，集中充电需求导致区域变压器过载、低压馈线末端电压暂降甚至电力设备加速老化，且EV出行行为与充电活动的时空分布不确定性使充电负荷具备强随机性与波动性。EV充电优化核心目标是提升车主充电满意度，包括基于实时电价降低充电成本与缓解因续航担忧产生的充电焦虑（Charging Anxiety），但大量EV固定时段接入居民充电桩致变压器过载，绕组温度急剧上升加速绝缘老化增加变压器寿命损失（Loss of Life, LOL），需在降低LOL与优化用户体验间权衡，形成典型多目标冲突的ECOTL（EV Charge Optimization Concerning Transformer LOL）问题，需求解帕累托前沿（Pareto Front）提供非支配解（Non-Dominated Solutions, NDSs）供决策者选择，但现有物理建模方法因变压器LOL非线性计算负担重难以在线控制，启发式算法如遗传算法（Genetic Algorithm, GA）、粒子群优化（Particle Swarm Optimization, PSO）收敛慢且难达全局最优，单目标深度强化学习（Deep Reinforcement Learning, DRL）无法直接近似多目标决策所需帕累托前沿，现有多目标DRL方法单网络表征整个偏好空间易导致决策性能下降，因此开展本研究提出基于多演员-评论家（Actor-Critic）框架的MOMADRL（Multi-Objective Multi-Agent Deep Reinforcement Learning）方法以解决ECOTL问题。该研究具有重要意义，论文发表于《Electronics》，其为解决EV充电与变压器寿命多目标优化难题提供了数据驱动的高效框架，兼顾求解质量与在线响应速度，对配电网智能化运维与EV规模化推广具备理论支撑价值。
研究人员开展研究用到的主要关键技术方法包括：将ECOTL问题建模为多目标去中心化部分可观测马尔可夫决策过程（Multi-Objective Decentralized Partially Observable Markov Decision Process, MO-Dec-POMDP），以各EV为智能体定义状态、动作、状态转移与多目标奖励函数；基于软演员-评论家（Soft Actor-Critic, SAC）框架构建多目标多智能体深度强化学习（MOMADRL）架构，为每个智能体部署多个Actor与Critic网络分别对应不同偏好学习策略与价值函数，采用重参数化技巧处理高斯采样动作的可微性问题；训练采用集中训练分散执行（Centralized-Training-with-Decentralized-Execution, CTDE）结构，Critic利用经验回放缓冲区的全局状态与联合动作稳定更新，Actor执行仅依赖局部观测；变压器LOL建模采用IEEE标准基于热模型映射电气负荷至绕组热点温度计算等效老化因子；案例基于真实2021年芝加哥Commonwealth Edison（ComEd）电价与配电网智能电表一年负荷数据，划分前200天训练、后40天测试，在50kVA变压器8户与扩容200kVA变压器32户场景下对比确定性NLopt、随机规划（Stochastic Programming, SP）、多智能体SAC（MASAC）、偏好驱动多智能体双延迟深度确定性策略梯度（Preference-Driven Multi-Agent Twin Delayed Deep Deterministic Policy Gradient, PD-MATD3）等基线，采用非支配解数量（NDS）、超体积（Hypervolume, HV）、间距（Spacing, SPA）与延迟时间评估帕累托前沿质量。
研究结果部分保留原文小标题并说明研究与结论如下：
- 2.
Problem Statement（问题描述）：研究人员建立由配电变压器与多居民负荷（分EV充电负荷与其他负荷）组成的社区配电网模型，EV充电模型离散化时间步长定义总负荷与EV充电负荷，充电成本为电价与充电容量乘积，充电焦虑量化为离出发时间越近对剩余能量缺口敏感度越高的函数，EV荷电状态（State of Charge, SOC）演化受充放电效率约束；变压器模型采用IEEE标准基于热模型通过环境温度、顶层油温升、绕组热点温升计算绕组热点温度，进而求取老化加速因子与等效老化因子得LOL；多目标优化模型以最小化充电成本、充电焦虑、变压器LOL为目标，指出该问题为高复杂度非线性多目标优化，传统物理方法难解非线性、启发式易陷局部最优、单目标DRL多目标下学习成本高收敛差。
- 3.
Proposed Approach（提出的方法）：研究人员先将ECOTL建模为MO-Dec-POMDP，智能体为各EV，状态含绕组热点温度、充电标识、预测电价，动作为充电容量，奖励对各最小化目标归一化处理使值域[-1,0]以最大化；再提出多目标多智能体深度强化学习（MOMADRL）基于软Actor-Critic框架，定义多目标奖励权重向量与多目标价值函数，各智能体配M个Actor与M个Critic网络分别学各偏好最优策略与价值函数，Actor输出高斯分布均值方差用重参数化采样动作；训练方案Critic最小化带熵正则项损失函数软更新目标网络，Actor依联合动作外其他智能体动作优化，采用CTDE结构，训练前生成完整权重组合覆盖偏好维度，各权重对应独立Actor-Critic对，训练后候选解经帕累托支配筛选得最优解，流程含回合采样权重、探索与利用阶段选动作、存经验回放缓冲区、采样更新网络。
- 4.
Results（结果）：4.1. Experimental Setup（实验设置）设50kVA变压器8户EV、15分钟控制间隔96步，Actor与Critic为四层全连接ReLU激活，Adam优化器，电价源自2021年ComEd、基荷源自真实配电网一年智能电表读数，前200天训练后40天测试，重复五随机种子取均值±标准差，用NDS、HV、SPA与延迟评估，对比NLopt、SP、MASAC、PD-MATD3基线；4.2. Training Process（训练过程）步长0.2下四种偏好权重显示所提方法约370回合收敛，较MASAC（440回合）、PD-MATD3（410回合）快16%与10%，收敛奖励约-4.25优于MASAC（-4.85）与PD-MATD3（-4.55），因多Actor-Critic分解偏好降低学习复杂度；4.3. Test Set Performance（测试集性能）含4.3.1. Comparison of Experimental Results（实验结果比较）所提方法NDS、HV最优，SPA达10-3级分布均匀，延迟约0.013秒较NLopt快450-650倍，SP计算耗时秒级不适用在线，MASAC单Actor表征多偏好HV低49%左右，PD-MATD3单Actor仍受限HV低10-11%；4.3.2. Performance of Proposed Method Under a Single Day（单日方法性能）可视化帕累托前沿验证NDS定义，任一目标改善必致至少一其他恶化，高电价基荷期EV放电获收益降LOL，低价期充电满电早于出发时间平衡焦虑与成本；4.3.3. Scalability Experiment（扩展性实验）32EV扩容后所提HV为3176.54×10-5，较MASAC高102.8%、PD-MATD3高37.9%，NDS为5.35优于二者20.5%与21.0%，SPA最优0.04，在线决策0.05秒较SP快99.99%；4.3.4. Study Without Vehicle-to-Grid（无车到网研究）禁放电后所提HV仍较MASAC高124.3%、PD-MATD3高5.1%，NDS最优，延迟9毫秒；4.3.5. Study with Battery Degradation Cost（含电池退化成本研究）加入电池退化成本进充电成本后所提HV较MASAC高116.0%、PD-MATD3高64.6%，NDS达5.39最优，延迟6毫秒。
- 5.
Discussion（讨论）：研究人员指出变压器LOL采用IEEE标准，所提数据驱动的MOMADRL框架若未来更精确老化模型仅需更新奖励计算模块不影响学习机制；灵敏度分析显示环境温、顶层油时间常数、绕组时间常数等热参数变动下NDS与NLopt可比，SPA在0.0007–0.0009，HV微幅波动，方法对热特性不敏感；32EV场景仍优且0.05秒低延迟证扩展性；指出V2G依赖双向桩、通信等现实限制，用户接受度涉电池质保与激励，当前未显式建潮流、电压、馈线容量等约束，未来将纳入；结论部分翻译为：为解决ECOTL问题强随机与多目标特性，研究人员提出基于多Actor-Critic设计的MOMADRL框架，旨在近似一组偏好特定充电策略以平衡充电成本、充电焦虑与变压器LOL并保持快速在线推理；所提MOMADRL为每个智能体部署多个Critic网络各学不同偏好价值函数指导多个Actor个性化学帕累托最优策略，训练阶段较基线收敛优，四种偏好平均收敛奖励约-4.25优于MASAC（-4.85）与PD-MATD3（-4.55），收敛快约16%与10%；测试阶段半合成案例中所提在基线中HV最优，较MASAC与PD-MATD3在不同步长下提95.0–96.8%与11.4–12.8%，NDS最高，虽与NLopt、SP有HV差距但毫秒级决策快至少400倍；32EV扩展实验HV较MASAC与PD-MATD3提102.8%与37.9%，延迟0.05秒；无V2G研究HV较MASAC与PD-MATD3提124.3%与5.1%，NDS最优；含电池退化成本研究HV较MASAC与PD-MATD3提116.0%与64.6%，毫秒级执行；所提在测试32EV、无V2G、电池退化成本场景具扩展性与适应性；未来可用现场数据或更细老化模型验框架，现实V2G依赖设施与用户意愿及市场机制，需考用户接受度与电压馈线约束，将纳入用户行为、交流潮流、节点电压限值与馈线阻塞约束，结合不确定性建模提鲁棒性，设计更扩展方法应对大规模多目标EV调度。
要不要我帮你把这篇论文解读里的关键专业术语（如MO-Dec-POMDP、CTDE等）整理成一份带简明解释的术语表？
