《Protection and Control of Modern Power Systems》：Directed Knowledge Transfer with Data-driven Trust Evaluation for Personalized Non-Intrusive Load Monitoring
编辑推荐：
非侵入式负荷监测（non-intrusive load monitoring, NILM）通过分析设备级电能消耗来提高住宅能源效率，已获得广泛关注。尽管基于机器学习的NILM方法展现出优异性能，但其有效性高度依赖于充足训练数据的可用性。联邦学习（federat
非侵入式负荷监测（non-intrusive load monitoring, NILM）通过分析设备级电能消耗来提高住宅能源效率，已获得广泛关注。尽管基于机器学习的NILM方法展现出优异性能，但其有效性高度依赖于充足训练数据的可用性。联邦学习（federated learning, FL）作为一种有前景的协作训练NILM模型的方法，通过聚合客户端间的分布式知识，有效利用了去中心化的数据储备。然而，由于客户端间显著的数据分布差异，通过FL聚合得到的全局模型往往偏离客户端特定最优解。为解决这一挑战，本文提出一种基于定向知识迁移的个性化模型学习方法。在该方法中，客户端通过点对点通信获取合格模型，并通过知识蒸馏（knowledge distillation）进行跨架构知识迁移。此外，设计了一种数据驱动的模型信任评估机制，用于预筛选候选模型并引导定向知识迁移，从而降低通信开销并提高迁移效率。另外，引入一致性学习以缓解个性化模型训练中潜在的过拟合问题。在三个公开数据集PLAID、WHITED和HOUIDI上的大量实验表明，与现有方法相比，所提方法实现了更优的训练效率和性能。
随着全球气候变化加剧，减少碳排放和能源消耗成为关键目标。据统计，住宅部门是仅次于工业的第二大能源消费者，约占总能耗的27%。通过优化家庭用电计划可减少高达12%的电力消耗。非侵入式负荷监测（NILM）技术能够从总用电量中推断单个设备的运行状态，无需为每个设备安装专用传感器，因此受到广泛关注。NILM方法分为基于状态和基于事件两类，本文聚焦于基于事件的方法，因为它具有高精度设备识别和实时跟踪能力。然而，基于机器学习的方法依赖充足标记数据；实际场景中客户端节点标记数据不足，且隐私限制阻碍集中式数据聚合。联邦学习（FL）允许多客户端协作训练NILM模型，同时保护数据隐私。但传统FL存在两个关键局限：一是要求客户端数据独立同分布（IID），实际家庭负荷模式高度异构，导致聚合模型偏离客户端最优；二是要求所有客户端使用统一模型架构，限制了异构计算能力设备的参与。因此，需要一种能够适应非独立同分布（Non-IID）数据且支持跨架构的个性化模型学习方法。
针对上述挑战，研究人员提出了一种基于定向知识迁移的个性化NILM模型学习方法。该方法通过客户端间点对点通信获取模型参数，利用知识蒸馏实现跨架构知识迁移；设计数据驱动的模型信任评估机制预筛候选模型，降低通信开销并提高迁移效率；引入一致性学习缓解局部数据稀少导致的过拟合。在三个公开数据集PLAID、WHITED和HOUIDI上，结合四种不同结构的模型（全连接网络FCN、一维卷积神经网络1DCNN、二维卷积神经网络2DCNN、时间卷积网络TCN）进行了广泛实验。结果表明，与现有联邦学习和个性化学习方法相比，所提方法在大多数场景下取得了更优的F1-macro分数，尤其是在轻量级架构上，同时具有更快的收敛速度和更强的跨架构泛化能力。相关成果发表在《Protection and Control of Modern Power Systems》。
作者采用的关键技术方法包括：（1）本地模型初始化：客户端利用本地标记数据训练基本模型；（2）模型信任评估：每个客户端基于自身训练数据优化一个最小高维封闭空间——信任区域（TR），使用序贯最小优化（SMO）算法求解区域中心和半径，并通过核函数计算样本到区域中心的距离以判断模型可信度；（3）定向模型下载：客户端根据本地样本在候选模型TR内的可信比例筛选模型，设置阈值δ；（4）模型输出聚合：对合格模型输出的logit进行标签对齐和样本级信任加权平均，得到集成logit；（5）知识迁移与一致性学习：使用温度缩放的softmax生成软目标，通过KL散度进行知识蒸馏，联合监督损失和一致性损失训练本地模型。数据来自三个公开高频数据集：PLAID（16类设备，1876个标记样本）、WHITED（1258个样本，覆盖多个国家）和HOUIDI（24类设备，488个标记样本）。
以下介绍研究结果。
A. 同构模型架构实验结果
在三种数据集上，当所有客户端采用相同模型架构时，所提方法在大多数标签率（25%、50%、75%）和模型架构组合下取得了最优F1-macro分数，尤其在轻量级FCN和1DCNN上优势明显。对于复杂模型2DCNN和TCN，在75%标签率下也具竞争力；但在25%和50%标签率下，与FedAvg和FedProx相比存在约4.7%的性能差距，原因是点对点知识迁移中单个用户可用的局部知识有限，而联邦学习方法通过全局知识整合弥补了这一不足。消融实验表明，在低标签率（≤50%）下加入一致性学习可显著提升性能，因为未标记数据提供了分布信息，有助于缓解过拟合；而在75%高标签率下性能差异很小。此外，在2DCNN+50%标签率场景下，所提方法仅需约10轮参数交换即可达到高性能，而其他联邦学习方法约需25轮，且收敛过程更稳定，证明了其通信效率和实际部署潜力。
B. 异构模型架构实验结果
将客户端划分为多个隔离组时，联邦学习和所提方法性能均有所下降，但所提方法表现出更优的鲁棒性。当允许组间知识迁移时，所提方法在异构模型上取得更高性能，而联邦学习方法因架构同质限制无法实现跨架构聚合。在WHITED和HOUIDI数据集上结果一致，验证了该方法的模型无关性和泛化性。
C. 所提信任加权聚合的有效性
对比信任加权聚合与平均加权聚合在PLAID数据集上的性能，结果显示信任加权在所有标签率下均优于平均加权。进一步分析发现，信任加权得到的集成logits与真实标签之间的交叉熵损失更低，表明其与真实分布的对齐增强。高质量logits有助于知识蒸馏，同时可为未标记数据生成伪标签，从而提升低标签率和部分未标记场景下的鲁棒性。
D. 超参数敏感性实验结果
考察核参数γ：γ增大时，TR内样本数量减少而模型性能提高；γ减小时，样本数量增多但区分能力下降，因此需折中设置。考察可信比例阈值δ：在高标签率（≥50%）下，阈值提高到15%可排除90%的模型而性能不降，每个客户端仅需少于十个模型参与迁移；在低标签率（25%）下，阈值需降低到5%以维持性能。考察蒸馏温度t：t<1导致概率极化，t>4导致logits过度平滑，最优范围为1≤t≤4。
讨论部分指出，所提方法在性能与通信开销之间存在权衡。虽然每轮训练时间较长，但由于所需通信轮数大幅减少，达到同等性能的总时间更少。在基于微控制器的智能电表部署场景中，只有轻量级FCN和1DCNN具备实际部署潜力，而所提方法恰好在这些架构上取得最优性能。此外，联邦学习并非总能提升性能，全局模型需要足够的参数容量来吸收客户端知识，因此在轻量架构下联邦方法常不如本地独立训练。这凸显了所提方法在现实场景中的价值。
研究结论部分：本研究针对NILM模型个性化面临的重大挑战，提出了一种定向知识迁移框架，在硬件约束下实现跨架构模型适配。与FedAvg或MCA等常规方法相比，所提方法有三个关键创新：（1）定向知识迁移机制：使客户端能够根据本地数据特征选择性地从对等端获取相关模型参数，平衡个性化与隐私；（2）模型信任评估：通过轻量级度量过滤低信任度模型，提高知识迁移效率；（3）一致性学习：在本地训练中使用未标记数据减少因标记数据不足导致的过拟合。在三个公开数据集和四种模型架构上的综合实验表明，所提方法在准确性和跨模型互操作性方面均具有优越性能。尽管推进了NILM个性化，仍存在一些局限：当前信任评估依赖标记数据，在标记数据有限的场景下可能无法准确反映模型内在可信度；固定阈值限制了更广泛的知识交互，可能影响低标签率用户的性能。未来研究将重点解决这些局限，包括利用模型内在属性开发更准确的信任度量，以及探索动态信任评估网络以适应数据分布变化，从而改进知识迁移和本地模型性能。
