《Algorithms》：A Community Multi-Building Energy Management Method Based on Multi-Head Attention-Enhanced Multi-Agent Proximal Policy Optimization
编辑推荐：
社区多建筑能源管理是减少建筑领域碳排放和缓解电网峰值压力的关键途径。然而，建筑间的负荷耦合及协调储能运行使得控制策略设计极具挑战性。针对标准多智能体近端策略优化(Multi-Agent Proximal Policy Optimization, MAPPO)算
社区多建筑能源管理是减少建筑领域碳排放和缓解电网峰值压力的关键途径。然而，建筑间的负荷耦合及协调储能运行使得控制策略设计极具挑战性。针对标准多智能体近端策略优化(Multi-Agent Proximal Policy Optimization, MAPPO)算法中集中式评论家(Centralized Critic)简单拼接建筑观测值因而难以建模建筑间相互作用的局限，研究人员提出了一种改进算法——多头注意力MAPPO(Multi-Head-Attention MAPPO, MHA-MAPPO)，其集中式评论家引入多头注意力机制(Multi-Head Attention)。该方法在不改变分散执行(Decentralized Execution)框架的前提下，从三方面改进评论家网络：设计双分支门控嵌入模块(Dual-Branch Gated Embedding Module)自适应融合本地建筑观测与全局交互信息；构建交互注意力路径(Interaction-Attention Path)通过多头注意力显式捕获建筑间两两依赖关系；引入上下文注意力路径(Context-Attention Path)利用可学习查询向量提取高层社区级全局特征。这些改进使评论家能更准确地估计联合状态价值，为所有智能体提供更可靠的优势函数(Advantage)估计。在CityLearn环境中的实验表明，相较于原始MAPPO，MHA-MAPPO使平均评估奖励(Reward)提升约19.2%，奖励标准差降低一个数量级，峰值净负荷(Peak Net Load)和总净负荷(Total Net Load)分别降低约15.4%和35.5%。结果验证了多头注意力机制对协调多建筑调度有效性，为社区能源管理中改进多智能体强化学习(Multi-Agent Reinforcement Learning, MARL)算法提供了有益参考。
论文解读：基于多头注意力增强MAPPO的社区多建筑能源管理研究
研究背景与意义
建筑行业占全球最终能源使用的30%~40%，其二氧化碳排放比例相当。随着分布式光伏(PV)、储能系统(Energy Storage System, ESS)及热泵广泛部署，社区级多建筑协调能源管理成为减碳与削峰填谷的重要手段。传统基于规则的控制难以应对动态波动；模型预测控制(Model Predictive Control, MPC)虽性能良好但面临模型校准成本高、计算负担随规模剧增及依赖精确环境模型等问题。单智能体深度强化学习(Deep Reinforcement Learning, DRL)处理多建筑时状态—动作空间随建筑数指数爆炸且缺乏扩展性；独立控制的多智能体又忽略建筑间储能共享与负荷互补。标准多智能体近端策略优化(MAPPO)采用集中训练分散执行(Centralized Training with Decentralized Execution, CTDE)框架，但其集中式评论家通常直接将各建筑观测向量拼接后送入多层感知机(Multilayer Perceptron, MLP)，无法显式建模建筑间动态耦合与负荷互补关系，且对异质特征融合能力不足、全局信用分配(Credit Assignment)模糊。为此，研究人员在保持MAPPO分散执行架构不变的前提下，提出多头注意力增强的MAPPO(MHA-MAPPO)，通过重构集中式评论家引入多头注意力机制来显式建模建筑间交互依赖，发表于《Algorithms》。
主要关键技术方法
研究人员基于CityLearn仿真环境构建含真实负荷与光伏出力的多建筑数据集，对各建筑局部观测进行标准化预处理。算法以MAPPO(CTDE框架)为基础，仅重构集中式评论家为MHA-Critic：①设计双分支门控嵌入模块，将通用状态特征(净负荷、电价、SOC等)与建筑类型专属功能特征分别映射后通过可学习门控权重自适应融合；②设计双路径多头注意力编码——交互注意力路径(无掩码多头自注意力)量化建筑间两两依赖，上下文注意力路径(以可学习查询向量为Query)提取社区级全局上下文；③基于交互注意力权重计算各建筑对全局价值的边际贡献(Marginal Contribution)并进行加权聚合得到全局状态表示，最后经两层全连接网络输出状态值V(s)。奖励函数定义为各建筑净购电功率负惩罚的平均值，以鼓励光伏自用与储能调度。实验设3个随机种子各训练200回合(每回合一完整年8760步)，对比随机策略、规则控制、单智能体PPO、独立PPO(IPPO)、集中PPO、标准MAPPO及消融实验，评估指标含平均评估奖励、峰值净负荷、总净负荷、总斜坡量(Total Ramping Amount)及负荷率(Load Factor)。
研究结果
4.1 实验设置与评估指标(Experimental Settings and Evaluation Metrics)
研究人员在Windows 11 + NVIDIA RTX4070平台上设定折扣因子γ=0.99、GAE系数λ=0.95、PPO裁剪系数ε=0.2、学习率3×10?4，三随机种子训练200回合。定义峰值净负荷为社区总净负荷最大值，总净负荷为评估期内累加值，总斜坡量为相邻时刻负荷变化绝对值之和，负荷率为平均负荷与峰值负荷之比。
4.2 训练结果(Training Results)
MHA-MAPPO平均评估奖励为?5772.60(原始MAPPO为?7144.82)，标准差由5646.64降至580.66，收敛曲线紧密且波动小；峰值净负荷由15.95降至13.49，净负荷曲线峰值削减明显且波动范围更小。表明引入多头注意力与门控结构使训练更稳定，并有效改善储能充放电协同以降低社区峰值。
4.3 对比实验(Comparative Experiments)
与随机策略、规则控制、单智能体PPO、IPPO、集中PPO及标准MAPPO对比显示：单智能体PPO奖励最高(?2957.09)但峰值净负荷(14.79)与总净负荷(408.69)均高于MHA-MAPPO(13.49与352.31)；规则控制总净负荷最低(231.29)但奖励极差(?14794.89)；MHA-MAPPO在降低峰值净负荷与总净负荷方面优于其他学习类方法，且训练稳定性优于原始MAPPO与IPPO，验证MAPPO框架适合CityLearn任务及注意力增强评论家的有效性。
4.4 消融实验(Ablation Experiments)
设仅加门控嵌入(+G)、仅加多头注意力(+A)、仅加双路径(+D)及组合共七种配置。+G单独使奖励提升最大(?4532.68)但对削峰贡献有限；+A单独降低峰值净负荷至14.77、总净负荷至347.06；+D单独总净负荷最低(300.28)但奖励略降。完整模型(+A+G+D, MHA-MAPPO)峰值净负荷最低(13.49)、总净负荷352.31，奖励较原始MAPPO提升约19.2%，标准差显著缩小；三者协同使综合性能最优，确认双分支门控嵌入、多头注意力交互建模与双路径编码缺一不可。
4.5 负荷平滑与动作分析(Load Smoothing and Action Analysis)
MHA-MAPPO总斜坡量301.24较原始MAPPO(363.51)降约17.1%，负荷率由0.452升至0.486(升约7.5%)；净负荷斜坡轨迹多数时刻控制在±20 kW内，原始MAPPO出现超±80 kW波动；典型建筑储能呈平滑充放曲线，高电价前预充、峰值期有序放出。表明增强评论家改善了全局价值估计与信用分配，引导建筑智能体习得协调储能调度，负荷曲线更平滑且储能动作合理。
4.6 计算成本与超参数敏感性分析(Computational Cost and Hyperparameter Sensitivity Analysis)
MHA-Critic参数量约为原MAPPO评论家约11.36倍，单次训练更新延迟为原框架约2.97倍。嵌入维度h=128、注意力头数4为平衡表达力与计算开销之默认设置；头数对计算开销不敏感，嵌入维度影响较大但h=128已足够。性能提升主要源于注意力增强评论家结构而非超参数调优。
讨论与结论翻译
研究人员提出一种基于多头注意力增强集中式评论家(MHA-Critic)的改进MAPPO算法(MHA-MAPPO)用于社区多建筑协调能源管理。在不改变分散执行框架前提下，通过双分支门控嵌入自适应融合本地与全局信息，双路径多头注意力编码显式捕捉建筑间两两依赖与社区级上下文，及基于边际贡献加权聚合改善全局信用分配，显著提升评论家对联合状态价值的估计精度。CityLearn实验表明：MHA-MAPPO平均评估奖励?5772.60优于原始MAPPO(?7144.82)，相对提升约19.2%；奖励标准差由5646.64降至580.66；峰值净负荷降约15.4%，总净负荷降约35.5%，总斜坡量降约17.1%。消融实验证实多头注意力模块、门控融合机制及双路径编码均有贡献，多头注意力对建模建筑间交互起关键作用。该研究为社区能源管理中改进多智能体强化学习算法提供了有效参考。局限在于实验限于CityLearn仿真环境与三随机种子，未来将在更大规模异质社区、结合电力市场信号及不同气候工况下进一步验证。
