基于机器学习与深度学习技术的非技术线损形态分析与模式识别

《Engineering Applications of Artificial Intelligence》：Morphological analysis and pattern recognition of non-technical losses using machine and deep learning approaches

　　

摘要：为了基于形态学分析检测消费者的消费模式中的异常，我们提出了一种双向长短期记忆（BiLSTM）自编码器与极限梯度提升（XGBoost）检测器的组合方案。形态学分析涉及历史消费与预测消费的对比。历史时间序列数据输入BiLSTM自编码器，以预测消费者在特定时间段内的下一次消费模式。动态时间规整（DTW）和均方误差（MSE）用于检验预测模式，从而分析模型的性能。DTW和MSE识别模式之间的恶意性。这是一种基于距离的相似度度量，用于分析消费者模式之间的相似性和差异性。历史模式与预测模式之间的线性规整路径代表模式的形态对称性，表明消费正常，而非线性规整路径则代表消费模式的变异，并被报告为恶意消费。此外，通过BiLSTM自编码器进行模式重构，其中MSE用于监控预测模式与历史模式之间的阈值误差。定义了基于重构误差的阈值，用于区分恶意模式和良性模式；然而，该阈值作为良性消费者与恶意消费者之间的决策边界发挥作用。MSE接近阈值的样本被归类为良性消费者，而MSE较大的样本则被命名为恶意消费者。此外，还基于时间序列数据的峰值研究了窃电检测及其调度的情况。当消费者调度窃电行为时，在公用事业提供商的场地上发出识别警报。此外，XGBoost检测器被用作分类器，实现了87%的高检测率。采用基于人工智能应用的解决方案及其实施提供了一种新颖的方法来调查非技术性损耗。

引言：电力窃电检测（ETD）是全球范围内需要特别关注的严重问题。通常，消费者连接在电力系统的配电侧。电力在远离消费者的地方生成。所产生的电能通过架空高压线传输至配电站，然后供应给连接的最终用户。然而，架空高压线存在系统损耗，如电晕损耗、电阻损耗、介质损耗、泄漏损耗、辐射损耗和电感损耗。上述所有损耗均为系统损耗，被称为技术性损耗（TLs）。通常，损耗分为两类：技术性损耗（TLs）和非技术性损耗（NTLs）（Buzau等，2019）。本研究的主要关注点是消费者侧的NTLs。然而，TLs是由于发电机、导体、输电线、配电线路等方面的技术故障而产生的。而NTLs则是从非技术角度发生的损耗，使得消费者能够少报其消费量。直接在输电线上接线、电能表故障、电子故障和双重搭接是NTLs的主要原因。为应对TLs，电力系统组件会根据所需协议进行重新设计。NTLs是公用事业提供商（UPs）面临的严重问题，会导致巨大的收入损失。不同研究使用了不同数据集，并在多个国家进行了统计分析。例如，在美国、英国、印度和加拿大的研究报告了由于NTLs造成的整体电力损耗。这些研究未突出特定数据集或统计参数，损耗是基于财务视角从盈亏角度计算的。根据Ahmad等（2003）的研究，1980年至2000年间全球收入损失从11%增至16%。同样，印度报告了20%的总收入损失（Gaur和Gupta，2016）。然而，美国、英国和加拿大等发达国家也严重遭受这些损失。Gao等（2019）的研究报告了美国因NTLs造成的整体收入损失为10%和16%。为了调查NTLs造成的损耗，本研究使用中国国家电网公司（SGCC）的数据集来捕捉高维数据中的非线性电力消费模式。

为解决NTLs问题，文献中采用了各种方法，包括基于数据驱动、博弈理论和硬件设备安装的策略。数据驱动方法与其他方法相比更有效且成本更低（Luan等，2015）。其基于对部署在消费者场所的智能电表（SMs）聚合数据的关键分析。相比之下，基于硬件的机制由于高昂的安装和维护成本而价格昂贵（Cárdenas等，2012）（Khan等，2022）。然而，近期引入的一种方法是高级计量基础设施（AMI）（Yan和Wen，2021）。基于AMI开发的邻里区域网络（NANs）用于监控网络内的能源消费，相应的最终用户连接其中。然而，由于技术性损耗的变化取决于环境条件，NANs中的AMI并不是一个好的解决方案。环境条件变化会改变NAN的消费能源读数。此外，可扩展性和增加的网络复杂性、有限的覆盖范围和服务质量限制（Wan等，2019）、安全和隐私漏洞（Paul等，2024）、高数据量和流量负载、以及可靠性和鲁棒性问题（Xu等，2018）是AMI的主要局限性。

此外，基于粒度识别和调查的方法也已被讨论（Biswas等，2019），用于分析消费模式的对称性和相关性。然而，更高的粒度率会导致过多的计算和数据完整性问题，消费者也会提出隐私问题。而形态学模式预测分析则基于模式与消费者消费历史的相关性（Kong等，2021）。这是一种实时分析，并制定理性决策，其中环境约束被视为内在因素以实现正确高效的预测。

文献综述：本节简要而全面地回顾了智能电网中ETD的相关文献。在Viegas等（2018）的研究中，作者采用数据驱动方法来调查消费者模式中的异常。在该方法中，通过对智能电表数据进行聚类分析来提取典型消费的抽象特征。利用威胁模型识别和分析易受NTLs影响的转变。转变是由NTLs随之产生的明显变化。

主要贡献：本研究的主要贡献包括：
•消费者利用合成窃电攻击明确利用电力消费模式来少报消耗的能源。此类智能窃电攻击难以检测，对分类器构成挑战，导致误分类。
•非恶意因素，如家庭结构漂移、地理条件和社会人口统计方面的变化，会影响消费模式。模式的误分类……

数据集：本研究使用SGCC数据集，这是一个大规模数据集，创建于2014-2016年。该数据集包含42372名消费者的时间序列数据，以行和列的结构排列。每一列是一个监测特征电力数据点，每24小时按消费者家庭ID记录一次。我们考虑了1500名良性消费者六个月的数据用于操纵和分类场景（Hussain等，2021）。之后，消费者的24小时模式……

数据预处理：数据预处理是ETD中的一个重要方面。由于数据以时间序列形式在不同时间戳上进行监测，时间间隔可能是秒、半分钟、分钟、半小时、小时等。监测此类数据可能会面临物理或分析形式上的中断。物理中断是由于传感器和监测设备的故障导致的，从而产生缺失数据。因此，现实世界中的数据是不完整、有噪声和不一致的，需要在……之前进行预处理。

提出的系统模型：NTLs检测的解决方案如图2所示，而限制及其补救措施见表1。提出的系统模型基于BiLSTM自编码器，关于所提模型的详细研究可参见算法1。图1展示了所提系统模型的完整流程。此外，图2中P和S的标签分别代表文献中已识别的问题及其解决方案。按层和模块的解决方案……

窃电调度：窃电用户利用上述技术操纵原始消费数据，如公式(7)所示。通常，窃电发生在历史模式和预测模式的末端分析之后才会被报告。

T1(st)=st*random(0.1,0.9)
T2(st)=st*xt(xt=random(0.1,0.9))
T3(st)=st*random[0,1]
T4(st)=mean(st)*random(0.1,1.0)
T5(st)=mean(st)

然而，在我们的场景中，窃电行为在调度时就会被报告，并在公用事业提供商的网络上生成警报。被操纵的时间序列数据是……

研究框架：基于阈值的相对差异决定模式的恶意性。此外，采用所提模型进行分类场景，以区分良性和恶意消费者。此外，为了满足所提研究的实际运行和部署需求，可扩展性是一个需要突出的必要视角。该模型能够以大量数据作为输入。例如，它可以接受年度数据作为输入并进行预测……

性能评估：基于混淆矩阵的参数，即检测率（DR）、误报率（FPR）、精确率、AUC和召回误差（RC error），用于评估检测器的性能。四个基本组成部分——真正例（TP）、假正例（FP）、真负例（TN）和假负例（FN）——是性能分析的关键参数。正样本和负样本的正确分类分别表示为TP和TN，而FP和FN表示负样本被错误分类为正样本以及……

仿真结果：为评估所提机制的性能，使用了真实的实时SGCC数据集（Khan等，2020）（Aslam等，2020）。为应对预处理问题，采用简单分层抽样和简单插补进行数据转换。为解决数据不平衡问题，使用合成窃电攻击（如公式(7)所示）生成窃电样本。用户消费模式之间存在相似性。这种相似性显示了消费模式之间的对称性……

结论：非技术性损耗（NTLs）的检测是智能电网中的严重问题之一。它造成数十亿的收入损失并加重公用事业提供商的负担。在本研究中，我们开发了一种基于BiLSTM和XGBoost的检测器，用于检测智能电网中的非恶意活动。基于历史和预测的形态学分析研究了模式之间的差异，从而实现了对诚实模式和恶意模式的分类。基于MSE的阈值定义了进一步调查恶意性的边界。

作者贡献声明：
Shoaib Munawar：撰写——初稿、软件、方法论、形式分析。
Zeshan Aslam Khan：撰写——审阅与编辑、可视化、监督。
Nadeem Javaid：撰写——审阅与编辑、验证、概念化。
Naveed Ishtiaq Chaudhary：撰写——审阅与编辑、可视化。
Muhammad Asif Zahoor Raja：撰写——审阅与编辑、可视化。

利益冲突声明：作者声明他们不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。

Shoaib Munawar | Zeshan Aslam Khan | Nadeem Javaid | Naveed Ishtiaq Chaudhary | Muhammad Asif Zahoor Raja