非技术损失检测在电力系统中可解释的机器学习

《Sustainable Energy, Grids and Networks》：Explainable machine learning for non-technical loss detection in power systems

　　

非技术损失（NTL）例如电力盗窃或计量异常，仍然是电力系统配电领域一个持续存在的挑战，导致巨大的经济损失和运行效率低下。在本研究中，研究人员扩展了先前关于NTL检测的工作，纳入了可解释机器学习（ML）技术并评估了新兴的模型架构。利用来自希腊电力供应网络运营商（HEDNO）的真实数据集，研究人员对传统计量器收集的消耗数据进行了深入分析。除传统模型外，研究人员还评估了现代基于Transformer的架构在捕获消耗复杂序列趋势方面的潜力。本工作的一个关键新颖之处在于其对可解释性的关注：研究人员集成了Shapley值（SHAP）和排列重要性（Permutation Importance）来解释模型预测，为公用事业提供商和领域专家提供了可操作的见解。实验结果表明，集成模型特别是CatBoost，在检测NTL方面取得了强劲的性能，在排名前10%的用户中，已确认的NTL案例占60%以上。此外，研究人员表明，使用一组精选的减少特征可以保持可比的预测性能，从而同时提高了效率和可解释性。

论文解读：《非技术损失检测在电力系统中可解释的机器学习》

研究背景与意义

在电力系统中，能量损失主要分为技术损失（TL）和非技术损失（NTL）。技术损失源于电力基础设施（如线路、变压器）的物理特性，而非技术损失则源于非物理因素，主要包括电力盗窃、计量篡改、账单错误和未计量消耗等。非技术损失给全球电力公司带来巨额收入流失，每年可达数十亿美元，不仅限制了基础设施投资，还导致电价上涨，加剧社会不公。尽管发展中国家情况更为严峻，但发达国家同样面临这一挑战。传统基于智能电表（SM）的高频数据检测方法在智能电表普及率不足的地区难以适用，而依赖传统计量基础设施（如每月或每季度读数）的配电系统仍占很大比例。因此，如何在粗粒度数据条件下准确检测非技术损失，成为电力领域亟待解决的问题。本研究基于希腊电力供应网络运营商（HEDNO）的真实数据集，提出了一种融合可解释机器学习（ML）的检测框架，旨在提升检测性能的同时提供决策透明度，为现场稽查提供可靠依据。该论文发表在《Sustainable Energy, Grids and Networks》。

关键技术与方法

研究人员采用了HEDNO提供的真实数据集，包含700519个消费者实例，特征包括消耗记录、服务请求、客户身份变更等，经工程处理得到88个特征，目标为二元标签（是否确认NTL）。数据按客户唯一标识划分训练与测试集，防止时间信息泄露。研究对比了7种模型：多项式朴素贝叶斯（MNB）、逻辑回归（LR）、决策树（DT）、随机森林（RF）、XGBoost（XGB）、CatBoost（CB）和FT-Transformer（FTT）。评估指标包括准确率、精确率、召回率、F1分数、AUC-ROC以及排名指标Lift和Demotion。可解释性方法采用SHAP值和排列重要性。通过SHAP引导的特征消融实验，评估减少特征集下的性能变化。

研究结果

5.1. 预测准确性

实验采用10折交叉验证，结果显示集成模型尤其是梯度提升框架在识别NTL方面优于传统分类器。CatBoost在多数指标上表现最佳，其准确率为0.9979，F1分数为0.0901，AUC-ROC为0.8939，Lift1（前10%预测高风险客户中NTL比例）达到0.6065，表明在排名前10%的用户中可捕获超过60%的已确认NTL案例。XGBoost紧随其后。随机森林虽精确率为1.0，但召回率极低（0.009），实用性有限。FT-Transformer表现尚可，但未超越树基集成模型。所有模型均获得完美的Demotion1分数，说明能准确将低风险客户排在末尾。

5.2. 可解释性分析

针对XGBoost和CatBoost，研究人员利用SHAP和排列重要性进行分析。SHAP摘要图显示，操作特征如总请求数（Total Requests）和唯一请求月份数（Unique Request Months）对预测影响最大，其次为距上次测量天数（Days since last measurement）、平均每日消耗量（Mean Daily Consumption）和消耗标准差（Standard Deviation of Daily Consumption）。排列重要性进一步证实，与请求相关的特征被随机打乱后模型性能下降最显著。特征分布对比表明，NTL案例的请求数和距上次测量天数略高于非NTL案例。消融实验表明，使用SHAP排名前40的特征训练模型，其Lift分数与全特征集相当甚至略有提升；而仅用前10个特征时性能明显下降，说明中等规模的特征子集能在保持性能的同时提升效率。

结论与讨论

研究人员总结，可解释机器学习框架能有效检测传统计量数据中的非技术损失。CatBoost模型在预测准确性和优先级排序上均表现最优，SHAP和排列重要性揭示了服务请求和消耗变异性等关键指标。基于SHAP的特征选择可在不牺牲性能的前提下简化模型，增强透明度。研究也存在一定局限：标签基于HEDNO稽查确认，可能遗漏未检测到的NTL案例，且存在选择偏差；数据仅来自单一配电系统运营商，需更多不同场景验证。未来工作可整合智能电表数据、地理空间信息，并引入时序或图模型，以及人机协同方法，进一步提升检测系统的可靠性与可解释性。这项研究为在数据有限的传统计量环境中部署有效且可解释的机器学习模型提供了坚实基础。