《Energy Reports》:Client clustering versus personalization in federated residential load forecasting: A personalization-fair benchmark of accuracy and communication overhead
编辑推荐:
住宅负荷预测支撑着需求响应与本地能源交易,然而欧盟《通用数据保护条例》(GDPR)等隐私法规阻止服务提供商收集细粒度的家庭用电数据。联邦学习(FL)能够在无需交换原始数据的情况下实现协作训练,客户端聚类被广泛用于缓解非独立同分布(non-IID)住宅负荷分布所
住宅负荷预测支撑着需求响应与本地能源交易,然而欧盟《通用数据保护条例》(GDPR)等隐私法规阻止服务提供商收集细粒度的家庭用电数据。联邦学习(FL)能够在无需交换原始数据的情况下实现协作训练,客户端聚类被广泛用于缓解非独立同分布(non-IID)住宅负荷分布所导致的精度下降。然而,现有聚类基准研究仅将分组方案与单一全局FL模型进行比较,忽略了面向家庭的微调这一强个性化基线。本研究构建了一个个性化公平的基准,以量化客户端聚类在住宅负荷预测中的真实价值。研究基于两个真实智能电表数据集构建的三种数据异构机制下评估了六种FL策略。结果表明,在聚类模型阶段聚类可将预测误差降低最高26%;然而经过家庭个性化微调后,所有方法均与全局模型相差不到2%,并呈现几乎相同的性能;自适应再聚类相比静态分组未带来精度提升。聚类的主要价值在于通信效率,在高度异构的光伏产消者组合场景下,聚类框架仅需标准全局模型所需通信轮次的三分之一即可收敛。最后,本文发布了一个开放的Ausgrid基准及时间越时(temporal out-of-time)评估协议,以供后续联邦负荷预测研究使用。
**联邦住宅负荷预测中的客户端聚类与个性化——从精度增益到通信效率的价值重估**
**1. 研究背景与问题提出**
随着能源系统向分布式转型,准确的家庭级负荷预测已成为电网运行与能源服务的关键支撑。配电系统运营商(Distribution System Operator, DSO)依赖此类预测进行网络约束管理和基础设施投资延迟;灵活性聚合商依靠其优化需求响应组合并参与批发市场;本地能源社区则利用其进行点对点交易与集体自消费优化。然而,居民用户对用电数据共享的隐私担忧以及欧盟《通用数据保护条例》(General Data Protection Regulation, GDPR)等监管框架,为数据驱动的机器学习解决方案的部署造成了实质性障碍。由于住宅用电约占全球电力消费的30%–40%,高级量测基础设施(Advanced Metering Infrastructure, AMI)与物联网(Internet of Things, IoT)设备的普及虽提供了大量居民级历史消费数据,但隐私约束下的数据可得性仍是核心瓶颈。
联邦学习(Federated Learning, FL)通过在不共享原始数据的前提下进行协作模型训练,同时回应了数据稀缺与隐私保护的双重需求。然而,标准FL在住宅负荷固有的非独立同分布(non-independent and identically distributed, non-IID)数据下存在公认的收敛退化问题。为应对该异构性,学界形成了两类方法:聚类FL——将分布相似的用户分组并为每组训练一个模型;个性化FL——保留共享模型并对每个客户端进行微调。大量聚类FL研究声称取得了精度提升,但几乎总是将聚类结果与单一全局模型进行对比,而忽略了对每个客户端进行微调这一更强的个性化基线。由此产生一个悬而未决的问题:一旦对家庭进行个性化微调,客户端分组本身是否仍有价值?此问题正是本研究试图回答的核心。
**2. 研究内容与总体结论**
研究人员构建了一个个性化公平基准,以量化客户端聚类在住宅负荷预测中的真实价值。该基准在两种真实智能电表数据集(英国Low Carbon London数据集与澳大利亚Ausgrid光伏住宅数据集)上构建了三种数据异构机制(同质住宅需求、异质光伏产消者、光伏采纳概念漂移),并在时间越时评估协议下对六种FL策略进行了系统比较。六种方法包括全局联邦平均、静态聚类、自适应再聚类(ACFL)以及三种来自近期文献的聚类方案。
研究的主要结论可归纳为三点。第一,在聚类模型阶段,客户端聚类相比全局模型最高可将预测误差降低26%,但经过家庭级微调后,六种方法的性能差距缩小至约2%以内,聚类带来的精度增益被个性化完全重获。第二,自适应再聚类在精度上不优于静态聚类,且在所有异构机制下均未表现出任何精度优势。第三,聚类的真正价值在于通信效率:在高度异构的光伏产消者场景下,聚类框架仅需全局模型所需通信轮次的三分之一即可达到目标精度。论文同时发布了带时间越时评估协议的开放Ausgrid基准,供后续联邦负荷预测研究使用。该论文发表于《Energy Reports》。
**3. 主要技术方法**
研究人员主要采用了以下关键方法:基于梯度相似性的客户端聚类,即利用主成分分析(Principal Component Analysis, PCA)将客户端梯度降至固定维度,结合轮廓系数(silhouette score)确定簇数并使用余弦距离的K-means聚类;混合自适应再聚类控制机制,包含时间触发、性能触发和客户端级离群点检测三层触发逻辑;联邦平均(Federated Averaging, FedAvg)聚合算法与个性化微调阶段构成的四阶段学习流程。评估协议采用扩展时间窗(最少一年训练)与逐月越时测试,样本队列包括英国Low Carbon London数据集30个平费率家庭及澳大利亚Ausgrid数据集30个新南威尔士州家庭。
**4. 研究结果**
**4.4.1 精度结果:聚类增益被个性化重获**
在聚类模型阶段,聚类方法相比全局FedAvg在高度异构的产消者联邦中取得最高26%的误差降幅,而同质住宅与采纳漂移机制下增益分别为约8%和13%。然而,经家庭级微调后,所有六种方法的预测误差几乎收敛至相同水平:Low Carbon London上为0.181–0.183,Ausgrid产消者上为0.320–0.324,采纳漂移任务上为0.315–0.323。个性化后所有方案与全局模型的误差差距在所有机制下均小于1.6%。研究表明,聚类在聚类模型阶段的大幅精度优势被微调重获,不存续至部署模型;自适应再聚类在所有机制下均不比静态聚类更优,该现象也适用于来自文献的三种聚类方案,表明这是数据与个性化阶段的固有属性而非特定算法的缺陷。
**4.4.2 收敛与通信:聚类的价值所在**
在同质Low Carbon London数据上,所有方法均在一个轮次内收敛,分组不改变结果。在异质的Ausgrid产消者联邦中,标准全局模型需要44轮收敛,而静态与自适应聚类仅需14轮即达到相同相对目标,速度约为三倍。自适应再聚类在所有机制下均未少于静态聚类的收敛轮次,动态分组未带来通信收益。计算成本方面,六种方法具有相同的逐客户端训练预算,聚类特有的服务器端计算(PCA降维、K-means与轮廓系数选簇)仅在初始分组和冷却期限制下的少量再聚类事件中运行,开销随客户端数线性增长,相对联邦训练总体成本较小。由于每轮传输的模型参数维度固定,达到收敛精度所需的迭代轮数可直接代理累积通信开销,因此聚类框架在异构联邦中以全局模型三分之一的通信量达到目标精度,其收益在联邦最异构处最大。
**5. 讨论与结论**
讨论部分指出,聚类在联邦负荷预测中的价值是通信效率而非预测精度。在异构联邦上聚类以更少的通信轮次达到可用模型,但家庭级微调使所有方法最终达到相同的部署精度。研究者建议,分布式聚合商可将微调后的全局模型作为通用基线,而聚类仅适用于带宽受限的用户组合;后续聚类研究应纳入家庭微调基线以避免夸大精度收益。研究结论部分总结道:第一,聚类在本地微调前可将预测误差降低最高26%,但个性化后所有方法均收敛到全局模型的2%以内,多触发自适应再聚类相比静态分组无性能优势,该精度衰减是住宅负荷数据固有特性而非算法缺陷;第二,聚类的实际优势在于通信效率而非更高预测精度,在异构光伏产消者群体中聚类框架仅需标准全局联邦平均三分之一的通信轮次即实现稳定预测。研究采用单点预测与数十户规模客户端实验,未来方向包括概率预测测试与更大规模联邦验证;开放基准与标准化时间评估协议已发布以支持后续比较分析。