《Energy and AI》：Peer-to-peer electricity platforms with endogenous prices: A Multi-Agent Neural Network Control approach
编辑推荐：
向分散式能源系统的转型催生了本地电力平台的需求，产消者（prosumer）可在平台上以内生确定的价格交易能源。研究人员为此类平台开发了一个可微分多智能体控制框架，借鉴了神经随机控制（neural stochastic control）和深度对冲（Deep He
向分散式能源系统的转型催生了本地电力平台的需求，产消者（prosumer）可在平台上以内生确定的价格交易能源。研究人员为此类平台开发了一个可微分多智能体控制框架，借鉴了神经随机控制（neural stochastic control）和深度对冲（Deep Hedging）中使用的路径优化（pathwise optimisation）原理，其吸引力源于简单性、计算效率、工业应用性以及可扩展至大规模优化问题。所提出的方法将物理存储动态、可行的产消者动作以及市场出清规则（market-clearing rule）嵌入单一计算图（computational graph）中，使分散式智能体（decentralised agents）能够通过反向传播（backpropagating）经过总供给、总需求和出清价格来训练交易策略。在出清层（clearing layer）使用停止梯度（stop-gradient）构造分离了两种经济上不同的学习模式：价格感知学习（price-aware learning），其中智能体内化其边际价格影响（marginal price impact）；以及价格接受学习（price-taking learning），其中价格被视为外生的。这产生了一种对市场机制感知的替代方案，以替代仅依赖奖励的多智能体强化学习（multi-agent reinforcement learning, MARL）方法，例如多智能体近端策略优化（Multi-Agent Proximal Policy Optimization, MAPPO），后者将市场视为黑箱环境组件。研究人员在具有异质性产消者、光伏发电（photovoltaic generation, PV）、电池储能（battery storage）和多种非歧视性定价规则（non-discriminatory pricing rules）的点对点（peer-to-peer, P2P）电力市场上评估该框架，使用了大规模合成模拟（large-scale synthetic simulations）和瑞士智能电表需求数据（Swiss smart-meter demand data）。实验表明，多智能体神经网络控制（Multi-Agent Neural Network Control, MANNC）学习了有效的分散式策略，相对于基于规则的控制（rule-based control）降低了社区成本，并在所研究的设置中在成本和训练效率上均优于多智能体近端策略优化（MAPPO）。学习到的策略表现出涌现的、经济上合理的行为：它们恢复了标准的存储套利（storage arbitrage），并且在价格感知学习下，揭示了在数量敏感出清（quantity-sensitive clearing）下的容量扣留（capacity withholding），这有利于灵活智能体但以增加社区总成本为代价。因此，将市场出清嵌入训练图既提供了高效的学习信号，也为本地电力市场设计中的策略行为提供了诊断工具。
**论文解读：基于内生价格的点对点电力平台的多智能体神经网络控制方法**
**研究背景与问题**
随着能源系统向分散化转型，越来越多的家庭和小型商业用户不再是单纯的负荷点，而是配备光伏发电（photovoltaic generation, PV）、电池储能和可控负荷的产消者（prosumer）。这一范式转变催生了对本地市场平台的需求，产消者可在社区内交换能源，再与外部电网结算剩余不平衡量。这种点对点（peer-to-peer, P2P）及本地能源市场有望提高分布式发电利用率、减少电网依赖，并形成新型社区级协调机制。然而，这也带来了一个困难的算法问题：众多自利智能体的交易决策共同决定了总供给、总需求以及所有参与者面临的内部市场出清价格（market-clearing prices）。现有方法通常将出清机制视为黑箱环境组件，智能体仅通过奖励信号与市场交互，未能利用已知的市场结构信息，导致学习效率低下且无法诊断策略行为。因此，有必要开发一种能够嵌入已知市场出清规则、实现端到端训练的多智能体学习框架，以提升性能并揭示经济行为。
**研究内容与结论**
研究人员提出了多智能体神经网络控制（Multi-Agent Neural Network Control, MANNC）框架，将物理存储动态、可行产消者动作以及市场出清规则嵌入可微分计算图（differentiable computational graph），使分散式智能体通过反向传播经过总供给、总需求和出清价格来训练交易策略。在点对点电力市场设置中，使用大规模合成模拟和瑞士智能电表需求数据评估该框架。实验表明，MANNC学习到有效的分散式策略，相对于基于规则的自消纳启发式（rule-based self-consumption heuristic）将日均社区成本降低12.6%–18.9%，而代表性多智能体强化学习基线（多智能体近端策略优化，Multi-Agent Proximal Policy Optimization, MAPPO）仅降低2.5%，且MANNC训练时间更短（单CPU上1–3分钟）。学习到的策略表现出涌现的经济行为：恢复标准日间存储套利模式，并在价格感知学习下，于数量敏感出清规则（如供需比定价，supply and demand ratio, SDR）中揭示容量扣留（capacity withholding）策略——电池智能体减少午后充电和晚间放电以维持更高内部价格，降低自身成本但将成本转嫁给被动消费者。该行为在瑞士智能电表数据上得到验证。论文发表在《Energy and AI》。
**主要关键技术方法**
研究人员采用以下关键技术方法：1）将市场出清规则（包括供需比SDR、中间市场价MMR、线性定价LIN）以闭式表达式嵌入可微分计算图，实现梯度反向传播；2）使用停止梯度（stop-gradient）算子分离价格感知学习（price-aware learning，智能体内化边际价格影响）与价格接受学习（price-taking learning，价格视为外生）；3）采用衰减ε-贪婪（decaying ε-greedy）探索噪声以缓解局部最优收敛问题；4）每个智能体使用前馈神经网络（feedforward neural network）参数化策略，输入局部观测（包括电池荷电状态、需求、光伏发电、滞后价格及社区平均统计量）；5）与集中式可微分规划器（MANNC-CTCE）、模型无关的多智能体近端策略优化（MAPPO）、基于规则的启发式以及完美预见线性规划（perfect-foresight LP）下界进行对比。样本队列来源包括合成生成的中欧住宅数据以及瑞士卢塞恩州CKW智能电表需求数据（配以PVGIS光伏辐射数据）。
**研究结果**
**5.1 总成本与训练效率**
在供需比（SDR）出清规则下，MANNC方法将日均社区成本相对于基于规则启发式降低12.6%–18.9%，优于MAPPO（仅2.5%）。MANNC-CTCE（集中式规划器）成本最低（9.34欧元/天），价格接受型MANNC-DTDE(SG)（9.73欧元/天）优于价格感知型MANNC-DTDE（10.06欧元/天），两者均优于MAPPO（11.22欧元/天）和启发式（11.51欧元/天）。完美预见LP下界为8.99欧元/天，MANNC-CTCE距此仅3.9%。训练时间方面，MANNC-DTDE(SG)约61秒，MANNC-DTDE约121秒，MAPPO约184秒。
**5.2 收敛性与稳定性**
MANNC方法在前10个回合快速下降，约20–30回合达到近最终成本；MAPPO初始成本较低但收敛更慢且平台更高。梯度数值稳定，自动微分梯度与有限差分参考偏差均值8×10
-5，梯度范数有界（均值1.7，最大6.7），无NaN或无穷值。衰减ε-贪婪探索带来适度但一致的收益，帮助逃离次优联合策略。
**5.3 学习策略与扣留机制**
**5.3.1 电池调度**
所有学习方法恢复日间套利模式：光伏+电池智能体在正午光伏充裕时充电（压低社区价格），傍晚放电；纯存储智能体C（无光伏）模式较弱。MAPPO的智能体C表现出较少结构化套利。
**5.3.2 市场价格与交易流**
学习策略产生U形价格曲线：内部价格在早晚接近零售电价p?，正午接近上网电价p?。价格感知型和价格接受型MANNC的买卖价差较窄，表明高效内部匹配；启发式则使价格固定在走廊极端。可控智能体重塑净进口曲线，接近完美预见优化器的形状。
**5.3.3 容量扣留**
价格感知型MANNC-DTDE下，存储智能体C成本更低（2.64 vs 2.79欧元/天），而每个被动买家（D、E、F）多付约0.15欧元/天，社区净增0.34欧元/天。智能体C通过减少午后充电和傍晚放电、保留更多存储能量至日终来实现容量扣留，从而在更小交易量上维持更高出清价格。
**5.3.4 梯度利用的直接证据**
通过比较有无停止梯度的梯度（g
full与g
direct），发现价格影响梯度g
price在训练初期很小（范数约0.05），后期增长约20倍（范数约1.2–1.3），且与直接梯度方向分离（余弦从1降至0附近），证明MANNC-DTDE确实从价格影响信息中学习。
**5.4 跨出清机制的普适性**
在所有三种出清规则（SDR、MMR、LIN）下，MANNC方法均优于MAPPO和启发式。价格感知与价格接受型之间的社区成本差距（C
DTDE?C
SG）在SDR下为正（+0.34），在MMR下为负（?0.37），在LIN(β=0.5)下为正（+0.08）。通过扫描LIN的敏感度参数β，发现该差距从β=0（MMR）时的?0.35单调上升至β=1时的+0.20，表明容量扣留是数量敏感定价的特性，而非价格感知学习本身。
**5.5 策略稳定性：遗憾值**
使用动态规划（dynamic programming, DP）计算单边偏离遗憾（unilateral-deviation regret）R
i。分散式MANNC策略接近纳什均衡：价格感知型MANNC-DTDE的遗憾值为0.10–0.24欧元/天，价格接受型MANNC-DTDE(SG)为0.09–0.30欧元/天，MAPPO则高出4–5倍（0.55–0.97欧元/天）。集中式规划器MANNC-CTCE的遗憾值也为正（0.18–0.35），表明社会最优调度并非激励相容。
**5.6 真实世界验证**
使用瑞士CKW智能电表需求数据（12个社区，每个社区按原型抽取一户）和PVGIS光伏生成数据重复SDR比较。方法排序得以保持：MANNC-CTCE成本最低（9.93欧元/天），MANNC-DTDE(SG)（10.19欧元/天）优于MANNC-DTDE（10.50欧元/天），MAPPO（11.78欧元/天）和启发式（11.69欧元/天）更差。容量扣留特征也重现：价格感知型MANNC-DTDE比价格接受型MANNC-DTDE(SG)成本高+0.31±0.19欧元/天，与合成数据值（+0.34）接近。
**讨论与结论**
**讨论部分总结**：
平台设计方面，价格感知学习在SDR下引发容量扣留并提高社区成本，而在MMR下则产生正外部性；随着社区规模增大，个体边际价格影响稀释，但总福利差距仍持续（2.5%–3.8%），表明需机制级监控。集中式规划器的调度并非激励相容（每个电池拥有者可通过单边偏离降低0.18–0.35欧元/天），而分散式MANNC策略接近纳什均衡（遗憾0.09–0.30欧元/天），具有自执行性。计算成本上，MANNC-DTDE(SG)和MANNC-CTCE随智能体数量线性扩展，MANNC-DTDE因梯度耦合呈超线性扩展，建议超过约24个智能体时使用停止梯度近似。信息需求方面，MANNC-DTDE变体仅需局部观测和公开广播价格，有利于隐私保护。策略行为与福利再分配方面，容量扣留使电池拥有者受益，被动消费者承担更高成本，该效应取决于出清规则。与模型无关的MARL（如MAPPO）相比，MANNC通过路径梯度提供更丰富的学习信号，收敛更快、成本更低。局限性包括：需要可微分出清规则（离散拍卖需平滑松弛）、忽略网络约束、可能收敛至局部最优、遗憾值为非因果上界、以及真实数据验证限于单一瑞士地区。
**研究结论（Section 7）翻译**：
本文提出了一种用于分散式点对点电力交易的学习框架，其中平台的市场出清规则直接嵌入多智能体训练模拟器中。每个产消者的策略通过反向传播经过完整的物理动态和价格形成轨迹进行端到端优化，因此智能体接收到的梯度反映了其对所有参与者面临价格的影响。出清价格处的停止梯度算子隔离了这一价格影响信号，将策略学习（内化价格影响）与竞争学习（视价格为外生）区分开来。同一训练图以闭式形式容纳三种非歧视性出清规则——供需比、中间市场价和线性定价规则——因此该方法不局限于特定机制。在一个中欧风格的六产消者社区中，路径方法相对于自消纳启发式将日均社区成本降低12.6%至18.9%，而代表性多智能体强化学习基线仅降低2.5%，且在单CPU上训练仅需1–3分钟。分散式策略在非因果最佳响应预言下接近纳什均衡，每个可控智能体的平均单边偏离遗憾约为0.18欧元/天；强化学习基线距均衡的距离是前者的三到四倍。与通过已知模型学习比仅靠奖励学习更高效的普遍观察一致，将价格形成机制嵌入训练图既降低了成本，也增强了策略稳定性，优于将其视为黑箱的处理方式。在数量敏感出清下，内生容量扣留从价格影响梯度中涌现，而在固定价格出清下则反转——因此策略学习的福利效应方向由出清规则决定，而非梯度本身。方法排序和容量扣留特征均在瑞士智能电表需求数据上对十二个独立抽样的社区得到复现。
