《Energy and AI》：A federated discrete reinforcement learning architecture for enhancing convergence and interpretability in distributed control
编辑推荐：
联邦强化学习（Federated Reinforcement Learning, FRL）是网络物理能源系统中分布式人工智能的一种有前景的方法，但许多现有方法依赖于黑箱深度策略，这降低了可解释性，并且可能在非相同运行条件下不稳定收敛。本研究提出了一种用于风电机
联邦强化学习（Federated Reinforcement Learning, FRL）是网络物理能源系统中分布式人工智能的一种有前景的方法，但许多现有方法依赖于黑箱深度策略，这降低了可解释性，并且可能在非相同运行条件下不稳定收敛。本研究提出了一种用于风电机组集体变桨距控制的联邦离散强化学习架构。该方法结合了联邦学习（Federated Learning, FL）、表格强化学习（Tabular Reinforcement Learning）和结构化状态-动作表示，使风电机组能够协作学习透明的状态-动作值表，而非不透明的神经网络策略。该架构在多个风电机组上进行了评估，这些风电机组暴露于由相同威布尔（Weibull）分布生成的独立风况实现中。从收敛行为、训练稳定性、可扩展性、同步频率、参数敏感性和通信需求等方面对几种联邦聚合策略进行了比较。仿真结果表明，所提出的近端离散聚合方法在大约30个训练回合后达到稳定运行，而联邦平均（Federated Averaging, FedAvg）和非联邦控制器需要大约70个回合。联邦随机梯度下降（Federated SGD, FedSGD）所需训练时间最长，约450个回合后收敛，并且表现出最大波动，这反映在95%置信区间上。增加参与风电机组的数量改善了收敛趋势。这些结果表明，离散联邦强化学习可以在能源控制应用中提供可解释性、收敛性能和分布式学习效率之间的有效平衡。
题目：联邦离散强化学习架构提升分布式控制收敛性与可解释性
全球能源系统正加速向可再生能源转型，风能凭借其技术成熟度和大规模部署能力成为重要支柱。然而，风力机固有的非线性动力学、随机运行条件以及建模不确定性，对设计鲁棒且高效的控制策略构成持续挑战。尤其在分布式能源系统中，控制器需在异构环境和运行条件下可靠工作，传统基于精确模型的控制方法难以适用。数据驱动控制，特别是强化学习（Reinforcement Learning, RL），凭借直接从运行数据学习策略的能力受到广泛关注，但RL方法通常需要大量训练数据和较长的收敛周期，且状态表示质量对学习稳定性与策略收敛有显著影响。在分布式场景中，运行数据天然分散，并受隐私、通信和网络安全约束，这促使研究者引入联邦学习（Federated Learning, FL）实现不交换原始数据的协作训练。然而，现有联邦强化学习多依赖深度神经网络策略，其黑箱特性限制了可解释性、可审计性和透明度，同时异构条件下易出现收敛不稳定。为克服这些局限，研究人员提出了一种联邦离散强化学习（Federated Discrete Reinforcement Learning, FDRL）架构，专用于分布式控制，并在风电机组集体变桨距控制场景中验证。该论文发表于《Energy and AI》。
该架构将联邦学习与离散Q学习及结构化状态-动作表示相结合，使各风电机组协作学习显式的状态-动作值表（Q表）而非不透明的神经策略。每个风电机组独立维护本地Q表，通过周期性同步将增量上传至联邦服务器，服务器聚合后更新全局Q表并分发回各机组。研究比较了三种联邦聚合策略：联邦随机梯度下降（FedSGD）、联邦平均（FedAvg）和研究者提出的近端离散聚合策略（FedPROXQ）。此外，研究还采用非联邦的独立Q学习控制器作为基线。
研究采用1.5 MW风电机组非线性模型，固定高速轴转矩，仅以集体桨距角作为控制量。每台机组接收由同一威布尔分布（尺度参数λ=11，形状参数k=10）生成的独立风况实现，以模拟随机运行差异。状态空间由离散风速（均匀离散，步长0.1 m/s，范围9-14 m/s，共51个状态）和离散功率误差（指数非均匀离散并补充平衡点细化状态，共19个状态）组合而成，动作空间为20个均匀离散的桨距角参考值（0°-20°）。奖励函数基于功率误差绝对值及其变化量，未添加桨距活动惩罚，以便隔离聚合机制对收敛的影响。所有仿真均使用相同的风电机组模型，样本队列来源为仿真生成的虚拟风电场，包含3至7台机组。
研究结果如下。4.1 仿真环境和风轮廓：采用非线性状态空间模型，风况由平滑的威布尔随机过程生成，确保每台机组独立但统计特性一致。4.2 性能指标：采用绝对误差幅度（AEM）、平均功率输出（MPO）和均方误差（MSE）三个指标，分别评估收敛轨迹、稳态调节准确性和跨机组策略一致性。4.3 联邦与单体学习对比：在500个训练回合中，FedPROXQ约30回合达到稳定，FedAvg和非联邦控制器约70回合，FedSGD约450回合且波动最大（95%置信区间最宽）。这表明联邦聚合可加速收敛，但收益取决于聚合策略。4.4 统计分析：基于7次独立运行的Kruskal-Wallis检验和Bonferroni校正事后比较，FedPROXQ与FedAvg差异显著（p=0.03274），与非联邦差异极显著（p=0.00044），而FedAvg与非联邦差异不显著（p=0.63264），证实FedPROXQ收敛更快且更稳定。4.5 执行努力：桨距角总变化中位数在各方法间相似（约1525°-1565°），但FedPROXQ的四分位距更宽且偶有超过2200°的值，表明更快收敛需以更大的执行变化为代价。4.6 智能体数量的影响：将机组数从3增至7时，收敛速度逐步提升，且机组间95%置信区间变窄，说明更多参与者提供了更丰富的经验多样性。4.7 全局模型更新率的影响：同步周期为10 s和50 s时收敛行为相近，而100 s时收敛性能显著恶化（约105回合），因为过长间隔使本地策略过度分化，削弱了聚合的稳定作用。4.8 风电机组参数的影响：将转动惯量偏差设为1%、5%和10%时，前两者收敛稳定且置信区间窄，10%偏差时稳态误差增大，表明框架对中等参数偏差有一定鲁棒性。4.9 Q-Table解释：由于策略以Q表形式存储，可直接检查每个离散状态对应的最优动作，且热图可视化清晰展示了风速、功率误差与桨距角之间的关系，增强了策略可审计性。4.10 通信开销分析：与原始数据传输（恒定2.4 kB/s）相比，纯增量Q表传输在状态空间较小时约7.3 kB/s，渐近为17.6 kB/s，具有上界；完整Q表传输则随状态数线性增长，在状态数为50000时达3.2 MB/s。尽管联邦离散RL的带宽需求高于原始数据流，但纯增量传输仍兼容现代物联网和边缘通信设施。
讨论部分强调，同步频率和聚合策略的选择是关键。过长的同步周期会破坏策略一致性，而FedPROXQ通过近端混合规则有效限制了本地策略与全局模型的偏离。可解释性由Q表直接提供，但隐私方面，由于传输的是Q表增量而非原始轨迹，且缺乏状态映射上下文，外部难以推断具体运行工况。通信分析表明，纯增量传输的带宽有界，且主要受控制样本数控制，而非同步周期。研究结论翻译如下：本文提出了一种用于分布式控制的联邦离散强化学习框架，并在风电机组集体变桨控制中进行了评估。该方法将联邦学习与表格强化学习和结构化状态-动作表示相结合，在保持策略可解释性和透明决策的同时改善了收敛稳定性。与基于深度神经网络的联邦强化学习不同，该框架维护显式状态-动作值结构，便于策略检查、审计和低复杂度部署。结构化离散化策略通过非均匀功率误差离散提高了平衡点附近的分辨率，改善稳态调节并控制表格维度。近端聚合策略（FedPROXQ）减少了联邦训练中本地策略与全局策略的分歧。仿真表明，联邦聚合可加速收敛，但收益取决于聚合策略：FedPROXQ最快（约30回合），FedAvg和非联邦约70回合，FedSGD最慢（约450回合）且波动最大。执行努力分析显示所有方法的中位执行量相似，但FedPROXQ的回合间变异性更高。增加机组数量可提升收敛速度，而同步频率过长会降低稳定性。通信方面，离散联邦RL的带宽需求高于原始数据传输，但稀疏增量更新具有上界，且兼容现代物联网和边缘计算基础设施。总体而言，离散联邦强化学习是可解释性、收敛稳定性和通信效率要求严格的分布式控制场景中一种有前景的替代方案。未来工作将扩展至连续空间actor-critic架构、自适应聚合机制、异构风机模型及实时验证。
