《Array》：Rethinking Unsupervised Credit Card Fraud Detection: A Leakage-Controlled Chronological Benchmark
编辑推荐：
验证集固定的阈值暴露了转导规则所隐藏的警报量漂移；仅用正常样本训练的局部离群因子（Local Outlier Factor，LOF）在ULB数据集上取得0.56 ± 0.03的精确率-召回率曲线下面积（Precision-Recall AUC，PR-AUC），
验证集固定的阈值暴露了转导规则所隐藏的警报量漂移；仅用正常样本训练的局部离群因子（Local Outlier Factor，LOF）在ULB数据集上取得0.56 ± 0.03的精确率-召回率曲线下面积（Precision-Recall AUC，PR-AUC），但在接收者操作特征曲线下面积（Receiver Operating Characteristic AUC，ROC-AUC）上排名最后；与患病率匹配的随机臂分离了划分的类先验效应与时间顺序效应；将模拟器时钟作为输入移除后，LOF在PaySim数据集上从最后一名上升至第一名；当时钟作为输入时，余额残差贡献了PaySim集成PR-AUC的75%–87%。
信用卡欺诈检测长期以有监督分类为主，依赖准确且及时标注的历史数据。然而欺诈标签稀缺、获取成本高且常有延迟，欺诈模式本身又随攻击者策略持续演化，使有监督模型面临概念漂移和未知攻击类型的挑战。因此，无监督异常检测将欺诈视为正常交易行为中的罕见偏差，无需欺诈标签即可训练，尤其适合欺诈率低于1%的极端不平衡场景。但既有无监督基准研究在评估设计上存在明显不一致：随机划分可能引入时间泄漏，阈值直接在测试集上估计属于转导性使用测试分布，常用指标如ROC-AUC在极端不平衡数据下过于乐观，且“含污染训练”与“仅正常样本训练”两种拟合机制常被混用。为厘清评估设计如何影响无监督欺诈检测的结论，研究人员构建了一个泄漏控制的、时间顺序的基准框架，系统评估五种广泛使用的异常检测器：孤立森林（Isolation Forest）、局部离群因子（LOF）、一类支持向量机（One-Class SVM，OC-SVM）、DBSCAN和K-Means。实验在两个互补的大规模数据集上进行：ULB真实信用卡数据集含284,807笔交易、欺诈率0.173%；PaySim合成移动货币数据集含6,362,620笔交易、欺诈率0.129%。研究的主要发现包括：在控制患病率后，时间顺序划分一般会降低ULB上的PR-AUC；仅正常样本拟合的LOF在ULB上达到最高的PR-AUC 0.56 ± 0.03，却在ROC-AUC上排名最末；去除模拟器时钟后，LOF在PaySim上从最后一名跃升至第一名；集成模型仅在同时保留模拟器时钟和余额残差作为输入时才在PaySim上领先。这些结果说明，评估设计中的阈值校准、类先验、时间划分和特征伪影都可能显著改变检测器排名，因此基准研究应更关注协议设计而非寻找单一最优检测器。
研究人员采用统一且严格的时间顺序评估框架。两个数据集均按时间排序后划分为60%训练、20%验证、20%测试，所有缩放参数只从训练集估计并固定应用于验证和测试集。评估区分三种拟合机制：无标签机制（U）在完整训练集上拟合；正常样本机制（N）仅使用合法交易拟合；预言机机制（O）额外使用真实训练患病率设定警报预算，仅作参考。决策阈值固定为验证分数分布的(1?ρ)分位数，ρ=0.005为主要操作点，测试警报量不强制匹配预算。主要指标为PR-AUC，辅助为ROC-AUC。为分离时间顺序与类先验效应，除随机划分外还引入患病率匹配的随机划分，并采用滚动起点评估和块自助法量化不确定性。检测器的分数通过各自验证集的经验累积分布函数（ECDF）映射后做平均形成集成，另以逻辑回归作为元分类器评估部分有监督标签的价值。
4.1 总体性能（ULB数据集）：在ULB时间顺序测试集上，高ROC-AUC并不对应高PR-AUC；拟合机制的影响大于检测器族。仅正常样本机制下LOF的PR-AUC达0.6032，而标签自由机制下仅0.0763，但两者ROC-AUC分别为0.9266和0.8178，与PR-AUC排序相反。
4.2 精确率-召回率与ROC行为：按ROC-AUC排名，正常样本LOF在七个配置中垫底，而按PR-AUC排名则居首，且显著超过其余配置。ROC曲线因正常交易基数过大而几乎不区分检测器，PR曲线则能立即分离配置，说明在低患病率下PR-AUC比ROC-AUC更适合评价检测能力。
4.3 警报量与校准漂移：验证集固定阈值后，真实测试警报量可能明显偏离目标预算。LOF在PaySim上发出374,177条警报，超出预算6,363条约58倍，最大偏离因子达323；移除时钟输入后，该偏离大幅下降。转导式阈值会掩盖这种分布漂移，因此报告预期与实际警报率十分必要。
4.4 集成性能：ECDF平均集成并未稳定优于最强的单一检测器。在ULB参考划分下，集成PR-AUC为0.1400，远低于LOF的0.6032；在PaySim上仅当模拟器时钟和余额残差同时作为输入时，集成以0.1706领先。若去除任意一个输入伪影，集成优势消失，且集成表现对成员构成和超参数设置高度敏感。
4.5 从无监督到有监督：混合桥接：使用验证标签的堆叠逻辑回归和验证PR-AUC加权均未带来一致增益。ULB上未使用标签的最大规则达到0.4068，超过堆叠逻辑回归的0.0653和加权平均的0.3440，说明这些监督组合并未有效利用标签信息。
4.5.1 元分类器崩溃的诊断：逻辑回归元分类器在较大标注预算下崩溃率反而上升，从2,500条标签时的13%升至25,000条时的45%。系数诊断显示崩溃与固定惩罚强度有关，将惩罚保持在小预算水平可消除25,000条时的崩溃，但10,000条时的多数崩溃仍不能被现有诊断解释。
4.6 划分协议的影响：随机与时间顺序：通过患病率匹配随机划分分离类先验和时间作用后，PaySim（无时钟）上的时间成分多数较小且符号不定；ULB上时间成分多为正向，但单一时间划分的结果不稳定。滚动起点评估显示，正常样本LOF在ULB上的PR-AUC从0.0024到0.5530不等，因此单个时间划分不能代表一般时序排名。
4.7 合成第二数据集PaySim上的压力测试：PaySim上LOF因模拟器时钟作为输入而崩溃，PR-AUC仅0.0030；移除时钟后升至0.1905并排名第一。余额残差贡献了集成PR-AUC的75%–87%，但该特征是模拟器账户更新方程的代数重排，并非真实世界标签。PaySim只能作为结构压力测试，而非真实欺诈泛化的验证。
4.8 计算成本：K-Means的训练时间近似线性增长，而LOF在PaySim上需占用825 MB内存。在固定审查容量下，全局PR-AUC排名并不直接对应固定警报预算下的性能：ULB上LOF在每万笔10条警报时检出42/75欺诈，PaySim上则为集成更优。
4.9 敏感性分析：参考集选择规则对邻居类检测器影响极大。ULB正常样本LOF在均匀抽样下的五抽均值为0.5572，而改用最近连续块后仅0.0036，相差155倍。超参数网格跨度大但验证选择可恢复大部分差距；污染率ρ对PR-AUC排名几乎无影响。
讨论部分强调，评估设计和检测器选择同样重要：时间特征作为输入会造成超出训练范围的测试值，应排除；ROC-AUC单独不足以描述极低患病率下的操作性能；集成在参考划分中的领先依赖模拟器伪影；有监督混合桥接在此实验中无一致优势。结论部分可概括为：在泄漏控制的时间顺序协议下，无监督检测在标签稀缺场景仍有价值，正常样本LOF在ULB上PR-AUC为0.56 ± 0.03，但该参考值对应最有利的参考集抽样和最有利的时间起点，并非稳定属性；训练机制比检测器族影响更大；固定惩罚的逻辑回归元分类器不提供一致改善。方法论核心发现是阈值稳定性：部署前固定的阈值可能产生偏离预算数个数量级的警报量，转导式阈值会掩盖这种不稳定，因此基准应同时报告预期警报率和实际警报率。未来需评估更长时段、更丰富上下文、漂移适应、联合超参数搜索以及面向排序目标的学习器。
