《Electronics》：An Optuna-Optimized XGBoost Framework for Robust Non-Technical Loss Detection in Smart Grids
编辑推荐：
本研究提出了一种稳健的端到端机器学习框架，用于检测智能电网中的非技术损失（Non-Technical Losses, NTL）。所提出的优化自举梯度分类器（Optimized Bootstrapped Gradient Classifier, OBGC）集成了
本研究提出了一种稳健的端到端机器学习框架，用于检测智能电网中的非技术损失（Non-Technical Losses, NTL）。所提出的优化自举梯度分类器（Optimized Bootstrapped Gradient Classifier, OBGC）集成了k-最近邻（k-Nearest Neighbor, kNN）插补以处理缺失数据，自适应合成采样（Adaptive Synthetic Sampling, ADASYN）以纠正类别不平衡，以及基于Optuna的超参数优化。该框架使用中国国家电网公司（State Grid Corporation of China, SGCC）数据集进行评估，该数据集包含42,373名用户在1035天（2014年1月至2016年10月）内的用电记录，其特征为25.6%的缺失值和严重的类别不平衡（91.46%诚实用户对8.54%疑似窃电用户）。为确保稳健评估，所有实验在训练集上采用分层5折交叉验证，并保留20%的测试集用于最终性能评估。实验结果表明，OBGC的准确率达到96.61%，精确率为96.18%，召回率为97.13%，F1分数为96.65%，显著优于基线XGBoost（准确率92.75%，F1分数36.11%）和其他最先进分类器。一项消融研究证实，ADASYN是最关键的组件；移除该组件导致召回率从97.13%急剧下降至16.87%，表明类别不平衡对窃电检测的严重影响。基于Optuna的调优相较于未优化基线在准确率上额外提升了3.29个百分点。该框架为实际NTL检测提供了一种透明、可复现且操作上可行的解决方案。
非技术损失（Non-Technical Losses, NTL）涵盖窃电、电表篡改和账单欺诈，是全球电力公司面临的关键挑战。据估计，NTL占全球电力损失的10%–40%，每年造成约960亿美元的经济损失。传统的人工巡检式检测方法成本高昂、劳动密集、易受人为错误影响，且难以在数百万智能电表规模上扩展。智能计量基础设施与物联网（Internet of Things, IoT）技术的发展，使得基于数据驱动的大规模异常标记成为可能。监督机器学习已成为NTL检测的主流范式，但仍存在三个根本性问题：一是智能电表数据常因设备故障、通信失败或存储限制而包含大量缺失值；二是欺诈用户通常仅为少数群体（典型低于10%），形成严重类别不平衡，使分类器产生偏差；三是XGBoost等提升算法若要充分发挥性能，需要精细的超参数调优。现有文献往往忽略缺失数据或采用简单均值插补，处理类别不平衡时多使用易在特征空间中引入过拟合的SMOTE，极少应用现代贝叶斯超参数搜索，且鲜有框架提供组件级消融证据。为此，研究人员提出了一个统一的端到端框架——优化自举梯度分类器（Optimized Bootstrapped Gradient Classifier, OBGC），将kNN插补、ADASYN和基于Optuna的超参数优化整合至同一管道，并在中国国家电网公司（State Grid Corporation of China, SGCC）数据集上采用无泄漏的严格交叉验证协议进行评测。OBGC在留出测试集上取得96.61%的准确率、96.18%的精确率、97.13%的召回率和96.65%的F1分数，显著优于未优化XGBoost（准确率92.75%，F1分数36.11%）。消融研究证实ADASYN是最关键组件，移除后召回率从97.13%骤降至16.87%；Optuna调优带来3.29个百分点的准确率增益。该框架为实际NTL检测提供了透明、可复现且运营上可行的解决方案，并实证了类别不平衡修正与系统化超参数优化的必要性。
研究人员开展研究时主要采用了以下关键技术方法。样本队列来源于SGCC公开基准数据集，包含42,373位用户在1035天（2014年1月至2016年10月）的日用电记录，数据含25.6%缺失值，其中8.54%为疑似窃电用户。方法包括：利用kNN插补（k-Nearest Neighbor imputation，k=5）基于NaN欧氏距离填充缺失消费向量；在交叉验证训练折内应用自适应合成采样（ADASYN）生成边界难例以纠正10.7:1的类别不平衡；采用Optuna框架结合树结构帕尔森估计器（Tree-structured Parzen Estimator, TPE）和MedianPruner进行100次试验的贝叶斯超参数搜索；使用10次bootstrap重采样集成增强稳定性；所有预处理嵌入分层5折交叉验证管道，并保留20%独立测试集（8475位用户）进行最终评价。
4.1 与基线模型的对比性能
在留出的20%测试集上，将OBGC与九种基线模型（逻辑回归、kNN、SVM、朴素贝叶斯、决策树、随机森林、AdaBoost、梯度提升和未优化XGBoost）进行比较。结果表明，传统线性与概率分类器因类别不平衡和非线性消费模式而性能较差；未优化XGBoost虽准确率高达92.75%，但召回率仅24.04%、F1分数仅36.11%，反映出严重的多数类偏向。OBGC在所有评估指标上均超越基线，准确率96.61%、精确率96.18%、召回率97.13%、F1分数96.65%，雷达图显示其包围面积最大，实现了四维指标的整体均衡。
4.2 消融研究
通过逐一移除kNN插补、ADASYN、Optuna优化和bootstrap聚合，量化各组件贡献。结果显示，移除ADASYN导致召回率从97.13%崩塌至16.87%（下降80.26个百分点），F1分数从96.65%降至26.64%，尽管准确率仍达92.08%，但模型几乎只预测诚实类，遗漏绝大多数窃电样本。移除Optuna使准确率下降3.29个百分点（至93.32%）、F1分数下降3.25个百分点（至93.40%）。移除kNN插补或bootstrap聚合对性能影响甚微。该研究确认ADASYN和Optuna是OBGC性能的主要驱动因素。
4.3 与最先进方法的比较
将OBGC与六种已发表的深度学习方法（如ETD-LSTM、BiLSTM-LogitBoost、GCN+CNN混合架构等）在SGCC上的结果进行定量对比。OBGC以96.61%的准确率和96.65%的F1分数优于这些报告准确率在86%–95%的深度模型，且避免了复杂网络带来的计算开销和过拟合风险。研究人员指出，不同研究所用数据子集、预处理和验证协议存在差异，该比较仅为指示性参考，并非同等条件下的直接对比。
4.4 决策阈值分析与权衡
在标准分类中，预测概率以默认阈值t=0.5转换为类别标签。通过分析t∈[0.1, 0.9]范围内的变化，发现降低阈值（如t=0.2）可将召回率提升至约99.1%，适合窃电损失高且检查成本相对较低的区域；提高阈值（如t=0.7）可将精确率提升至约98.4%，适合检查力量有限、需高置信度后再出勤的场景。因此，运营方可基于自身检查能力和财务风险偏好动态调整阈值，而无需重新训练模型。
讨论部分指出，分类指标可直接映射至电力公司NTL项目的运营经济性：召回率反映可追回的窃电比例，精确率反映检查效率，但由于SGCC数据缺乏电价和损失金额信息，未报告具体货币节约；实际部署中的精确率可能低于实验值，因为真实馈线上的窃电率通常低于8.54%。局限性包括单一数据集依赖、缺失率机制差异、极端不平衡下ADASYN可能产生噪声样本，以及不同用户画像对模型泛化的影响，超参数需针对新场景重新调优。
结论方面，本研究提出的OBGC框架在SGCC基准数据集与严格交叉验证协议下，系统性整合了kNN插补（处理25.6%缺失记录）、训练折内ADASYN过采样（解决10.7:1类别不平衡）和基于Optuna的XGBoost贝叶斯超参数优化。关键发现为：OBGC在留出测试集上准确率96.61%、精确率96.18%、召回率97.13%、F1分数96.65%，大幅优于全部九个基线分类器；ADASYN是最关键组件，移除后召回率从97.13%崩溃至16.87%，确认类别不平衡修正对可靠窃电检测不可或缺；Optuna优化较未优化基线带来3.29个百分点的准确率增益。未来工作将探索跨电力公司的多数据集验证，整合网络拓扑与客户社会经济特征，以及采用隐私保护联邦学习实现不共享用户级数据的跨区域模型训练。
