《Processes》：Interpretable Evidence Fusion for Controlled Fraud-Episode Screening in Advanced Metering Infrastructure
编辑推荐：
非技术损耗难以从高级量测基础设施（AMI）数据中识别，因为窃电具有不同的物理特征，通信故障可能类似于人为篡改，且现场确认的标签稀缺。本文提出了一种证据融合方法，将小时级用电量转化为可追踪的稽查事件。该方法验证读数来源，根据先前观测估计预期负荷曲线，评估机制特定
非技术损耗难以从高级量测基础设施（AMI）数据中识别，因为窃电具有不同的物理特征，通信故障可能类似于人为篡改，且现场确认的标签稀缺。本文提出了一种证据融合方法，将小时级用电量转化为可追踪的稽查事件。该方法验证读数来源，根据先前观测估计预期负荷曲线，评估机制特定专家模型，并在固定稽查能力下整合持续性检测结果。由于未识别到带有现场确认窃电日期的公开小时级AMI数据集，评估采用了真实用电背景上的受控事件以及TDD2022（一个带有合成窃电事件的公开基准数据集）。在用户不相交的受控队列中，该策略在七天内检测到150个事件中的108个（召回率0.720），比参考工作流多检测17个（精确McNemar检验）。在TDD2022上，证据融合获得了0.689的召回率、0.998的精确率、0.816的F1分数和0.928的精确率-召回率曲线下面积（PR–AUC），在2455个正常天数中仅产生两次误报。结果表明，因果性和机制特定证据能够在两个受控基准上产生具有容量感知能力的稽查列表。现场稽查仍然是估计诊断准确性的必要条件。
论文解读
一、研究背景与问题
电力配电网的数字化使高级量测基础设施（AMI）成为重要的运营信息来源。智能电表以短时间间隔记录用电量，支持计费、需求响应、电价设计、电网规划和用户分析等多项业务。然而，小时级数据的高粒度也暴露了可能源于电表篡改、非法接线、通信问题或正常用电变化的异常变动。非技术损耗（NTL）的识别面临多重困难：窃电行为不存在统一的物理特征，旁路可能降低报告幅值而保持日负荷形状不变，小时倒置可能保持总能量不变但将其移至不同时段，间歇性篡改则可能表现为多个短时缺口。确认过程同样困难，现场稽查成本高昂，已确认案例有限，历史标签通常混杂欺诈、技术故障和行政发现。此外，用户级负荷曲线可能揭示生活习惯和居住模式，稽查结果包含敏感的客户和运营信息，公用事业公司很少同时发布带有事件日期和复用条件的数据集。研究人员未识别到带有现场确认窃电事件的公开小时级AMI数据集，TDD2022是满足时间要求的公开标注数据集，但其窃电事件是合成的。运营层面还存在从检测异常日到发出稽查请求之间的差距，日级异常模型可能重复对同一用户排序，即使所有分数描述的是同一个持续性事件。公用事业需要一份尊重可用稽查能力的短列表，避免将重复证据计为独立告警，并解释用户被选中的原因。时间因果性在此具有重要意义：如果特征或阈值使用了被评估日之后的观测，表面上的改进就失去了实际意义。
二、研究内容与结论
研究人员提出了一种将上述问题视为一个相互关联的整体问题的方法论。该方法结合了用电量的两种视角：第一种通过紧凑表示、潜在离群点和行为状态描述日级状态；第二种通过因果预期负荷曲线、观测与预期残差、个人新颖性和机制特定专家模型搜索新事件的开始。质量门控将可用物理读数与缺失、插补、延迟或通信编码值区分开。校准后的证据进入有界日排名，状态机将持续性候选整合为稽查事件。由于缺乏可靠的操作性欺诈标签，研究人员在真实用电历史中引入受控变换，保留干预区间外的原始背景，从而提供已知的事件边界而不移除用户的自然变异性。研究围绕三个实际问题展开：缺失样本和通信编码零值能否被防止成为物理欺诈证据；机制特定证据能否在事件开始后七天内恢复不同的受控欺诈机制；这些检测能否转化为可管理的事件流而不将误报隐藏在召回率之后。研究贡献包括：来源感知质量门控和缺失及零编码读数的压力测试协议；因果小时表示和四个非线性专家模型；正常分数校准和最大族证据融合；具有持续性、冷却期和固定稽查能力的事件策略；按事件、事件、用户、暴露、基线族、敏感性、延迟和配对统计不确定性进行评估；以及在TDD2022上的冻结迁移实验。
三、主要技术方法
研究人员采用了多项关键技术方法。数据质量门控通过覆盖率检查和零值来源验证确定用户日是否可进入分析分支。状态表征分支使用紧凑自编码器将26维日向量映射至二维潜在表示，配合隔离森林和聚类分析生成M1A–M3D状态指标。因果小时预期通过个人同星期中位数、近期中位数和训练正常用户日历中位数的加权组合构建，所有滚动统计均采用一日位移确保因果性。四个机制特定专家模型（统一低报、平坦化、小时倒置、间歇开关）分别训练，使用物理规则分数、因果个人新颖性和潜在状态协变量作为预测输入。正常分数校准将原始分数转换为因果百分位数，最大族融合保留最强专家证据而非平均化。事件策略采用四状态机（inactive、pending、open、cooldown）整合持续性检测，在固定日预算下生成有界稽查事件流。评估采用用户不相交的训练、校准和测试分区，TDD2022迁移实验按消费者类型分离分区。
四、研究结果
4.1 合成基准构建
在扫描的19213个用户文件中，16879个满足资格要求，16861个成功处理。生成器从五种欺诈类型学中产生10538个事件和4215个辅助扰动事件。2334个不合格用户未满足最短历史或质量要求，三个用户因无有效窗口而处理失败。
4.2 分区一致性
训练、验证和测试分区按用户创建，防止同一用户出现在多个分区中，减少模型开发与评估之间的泄漏。最终审计未报告跨分区重复用户、跨数据集重复用户或重复分配行。
4.3 类别平衡、持续时间和严重程度
正常数据集包含2108个用户，每个生成变换包含2107或2108个用户。全部14753个生成事件中，七天事件最为频繁，严重程度在低、中、高水平间近似平衡。后续检测结果仅使用五种范围内的欺诈类型学，排除两种辅助扰动数据集。
4.4 评估队列与协议
模型开发使用1600个不相交用户历史，包括800个选定事件和800个正常对照。受控评估队列包含300个先前未使用的用户，每种欺诈类型学30个事件和150个正常对照。评估表产生412870个日决策，其中98.34%通过质量控制。
4.5 读数质量与预测检查
压力测试覆盖12143个正常对照日和17种场景。20%随机缺失时质量门控在57.4%的日上弃权，8、12和24小时缺失或通信编码零块产生100%弃权。因果加权中位数在超过198万正常小时观测上获得最低MAE（82.38）和MASE（0.806）。
4.6 自编码器稳定性与经典比较器
自编码器审计使用20000个正常训练日和10000个正常验证日，五种种子和2、4、8的瓶颈维度。验证MSE分别为8.19、8.18和8.06，而PCA达到5.55、4.65和2.04。二维自编码器的潜在距离平均成对秩相关为0.395。经典检测器中表格梯度提升获得最高平均精确率0.0519。
4.7 家族模型选择
非线性专家在四种机制家族中均获得最高平均精确率，统一低报0.533、平坦化0.326、小时倒置0.385、间歇开关0.818。在假阳性率不超过0.01时的召回率分别达到0.569、0.478、0.523和0.900。
4.8 因果校准与策略选择
静态、因果和新颖性加权高分率分别为1.94%、2.11%和0.97%。因果最大族证据在日前十预算下恢复126/150校准事件（0.840）。选定校准策略恢复101/150事件（0.673），产生每正常用户月0.0569个假事件。融合消融中最大族因果融合达到日级平均精确率0.274和七天事件召回率0.673，添加M2A–M3D状态分数不改变召回率或假事件负担。
4.9 受控事件检测
日前十筛查在七天内恢复129/150事件（0.860），内部参考工作流恢复119/150（0.793）。事件整合后提出工作流恢复108/150事件（0.720），参考恢复91/150（0.607）。配对召回差异为11.3个百分点，95%自助区间3.3–19.3，精确McNemar检验显著。事件策略在发作日恢复2/150事件，三天内71/150，七天内108/150。中位检测延迟两天，第90百分位五天。策略平均每天产生0.655个新事件，937个生成事件中113个与注入事件重叠，关联事件产出率0.121。正常对照在6906用户月内产生389个事件，相当于每正常用户月0.0563个事件。
4.10 按类型学和事件条件的結果
部分旁路从10/30增至19/30事件（0.333至0.633），小时倒置从13/30增至18/30（0.433至0.600），平坦化从15/30增至17/30（0.500至0.567），突然下降从25/30增至27/30（0.833至0.900）。间歇开关保持27/30（0.900）。低严重程度事件召回率0.540，中等0.792，高0.827。七天事件达到48/63（0.762），十五天事件35/54（0.648），三十天事件25/33（0.758）。
4.11 可追踪告警示例与计算概况
选定的平坦化案例在事件第三天平坦化百分位数为0.9980，最大族路由器选择平坦化。事件记录保留观测和预期负荷曲线、小时残差、三天支持、峰值分数、质量状态和M1A–M3D上下文。实现为日批处理检测器，处理413973个用户日用时4.53秒，约91321用户日/秒，峰值内存34.0 MB。
4.12 运营概况
全局七天召回率0.720，假事件每正常用户月0.0563，平均和95百分位日负载分别为0.655和2.0个新事件，最小类型学召回率0.567，未检测到时间或用户重叠。
4.13 TDD2022外部迁移
冻结测试包含1925个正天和2455个正常天。证据融合检测1327个正天并产生两次误报。召回率0.689，精确率0.998，F1 0.816，PR–AUC 0.928。Extra Trees获得召回率0.705、F1 0.794和136次误报。配对比较中证据融合在Extra Trees错误分类的163天上正确，反向59天。Theft2、Theft3、Theft4和Theft5均达到二进制召回率1.000，Mixed达到0.869，Theft1二进制召回率0.078，Theft6为0.200。精确原生标签分类达到宏F1 0.596。事件级别1193/1744个重建原生事件被检测（0.684）。
五、讨论与结论
研究发现可从三个层面解释：输入是否代表物理读数、日负荷曲线是否包含机制特定证据、重复证据是否足以开启一个稽查事件。压力测试表明长缺失或通信故障块产生弃权，而确认的物理零值保持间歇损耗分析资格。日前十筛查恢复86.0%受控事件，事件整合后召回率72.0%，配对差异11.3个百分点。事件整合产生平均每天0.655个新事件和每正常用户月0.0563个假事件，均在预设限制内。但130/150正常对照在多年历史中被至少选择一次，937个生成事件中仅113个与注入事件重叠，容量控制和诊断确认必须作为独立属性评估。M1A–M3D状态指标作为解释性上下文而非额外检测精度来源。最大族融合保留最强专家而非用不活跃专家稀释。严重程度与检测的关系比分配持续时间更清晰。TDD2022显示机制依赖性，均匀缩放和小时倒置二进制召回率低，确认检测窃电和命名其机制是不同任务。主要限制是标签有效性，两个基准的欺诈事件均为合成。受控队列每类型学仅30个事件，全局召回率95% Wilson区间0.643–0.786。正常对照是未注入事件的历史，而非经稽查认证无欺诈的用户。需要前瞻性验证，包含确认欺诈、非欺诈异常、电表故障、通信故障和稽查正常结果，随机抽样稽查组以限制验证偏差。
研究结论：本研究提出了一种可追踪的AMI窃电筛查方法论，连接读数来源、因果预期负荷曲线、机制特定专家模型、校准证据融合、有界排名和事件整合。在用户不相交受控队列上，日排名七天内恢复129/150事件，运营策略保留108/150（召回率0.720），中位延迟两天。策略比参考工作流多恢复17个事件，配对差异11.3个百分点。事件流平均每天0.655个新事件，每正常用户月0.0563个假事件。在独立构建的TDD2022测试上，冻结融合达到召回率0.689、精确率0.998、F1 0.816和PR–AUC 0.928，2455个正常天中仅两次误报。结果支持所提出工作流作为两个受控合成标签设置中的选择性和容量感知筛查方法，同时定义了其边界：机制性能不均，精确归因弱于二进制检测，正常历史未经现场稽查验证。在声称现场部署的精确率、回收能量和运营效益之前，需要进行带确认稽查结果的前瞻性评估。
