极端类别不平衡下用于信用卡欺诈检测的保守性似然性过滤SMOTE

《Frontiers in Artificial Intelligence》：Conservative plausibility-filtered SMOTE for credit card fraud detection under extreme class imbalance

　　

信用卡欺诈检测是一个复杂的表格学习问题，原因在于欺诈事件的低代表性、极端类别不平衡以及分散的少数类区域。为了解决这一限制，研究人员提出了一种保守性少数类合成策略，结合了少数类异常值去除、使用SMOTE的合成数据生成、几何过滤和监督似然性过滤。与传统的过采样不同，该方法不寻求人为地平衡类别，而是只保留局部一致且具有判别价值的合成样本。该方法在ULB信用卡欺诈检测数据集和IEEE-CIS欺诈检测数据集上进行了评估，采用60/20/20分层划分，防止了训练、校准和测试之间的信息泄露。在ULB上，该方案保留了638个最终合成样本，将增强数据集的欺诈率提高到0.005396。在IEEE-CIS上，保留了947个最终合成样本，最终欺诈率为0.037563。与SMOTE、Borderline-SMOTE、ADASYN和SimpleVAE等技术相比，所提出的方法表现出竞争性性能，在ULB的六个分类器中的四个和IEEE-CIS的六个分类器中的三个取得了最高的AUPRC。消融分析和统计验证表明，监督似然性过滤有助于控制生成样本的质量，尽管其收益并不均匀，取决于所使用的分类器和数据集。

信用卡欺诈检测面临极端类别不平衡和少数类分散的挑战，传统过采样方法如SMOTE（合成少数类过采样技术）可能生成模糊样本，损害决策边界。为此，研究人员提出了一种保守性少数类合成策略，结合SMOTE、几何过滤和监督似然性过滤，旨在保留局部一致且具有判别价值的合成样本，而非大规模平衡类别。该方法在ULB信用卡欺诈检测数据集和IEEE-CIS欺诈检测数据集上评估，采用60/20/20分层划分防止信息泄露。结果表明，在ULB上，所提方法添加了638个最终合成样本，在六个分类器中的四个（决策树、极端随机树、随机森林、XGBoost）取得最高AUPRC（精确率-召回率曲线下面积）；在IEEE-CIS上，添加了947个最终合成样本，在三个分类器（决策树、逻辑回归、XGBoost）取得最高AUPRC。消融分析和统计验证支持监督似然性过滤的质量控制作用，但优势依赖于分类器和数据集。该研究提供了一种可解释、高效的少数类增强替代方案，强调合成样本质量比数量更为关键。论文发表在《Frontiers in Artificial Intelligence》。

主要关键技术方法包括：使用SMOTE生成合成样本；通过少数类异常值去除（计算每个少数类样本到其k_out个最近邻的欧氏距离，去除距离超过给定分位数的离群点）清洗基础数据；几何过滤（计算每个合成样本到其k_f个真实少数类近邻的平均距离，仅保留距离低于几何分位数的样本）；监督似然性过滤（使用HistGradientBoostingClassifier辅助分类器，仅用训练集真实数据训练，过滤概率低于似然性阈值的合成样本）。样本队列来源于ULB数据集（284,807笔交易，492笔欺诈）和IEEE-CIS数据集（590,540笔交易，20,663笔欺诈）。

在结果部分，研究人员首先展示了数据增强过程：在ULB训练集中，原始欺诈样本284笔，去除15个离群点后保留269笔，SMOTE生成852个原始合成样本，几何过滤保留846个，监督似然性过滤保留638个最终合成样本，增强后欺诈率从0.001668升至0.005396。在IEEE-CIS中，原始欺诈样本12,398笔，去除620个离群点后保留11,778笔，生成5,000个原始合成样本，几何过滤保留4,674个，监督似然性过滤保留947个，增强后欺诈率从0.034991升至0.037563。随后，分类器性能比较显示：在ULB上，所提方法在决策树（DT）、极端随机树（ExT）、随机森林（RF）和XGBoost（XGB）上取得最高AUPRC，分别为0.607、0.815、0.816、0.821，而HistGradientBoostingClassifier（HGB）的最佳AUPRC由Borderline-SMOTE获得（0.815），逻辑回归（LR）的最佳AUPRC由SimpleVAE获得（0.694）。在IEEE-CIS上，所提方法在DT、LR和XGB上取得最高AUPRC，分别为0.406、0.290、0.595，而ExT的最佳AUPRC由SMOTE获得（0.662），RF和HGB的最佳AUPRC由SimpleVAE获得（0.636和0.587）。统计验证中，bootstrap估计显示所提方法在ULB的XGB、RF、ExT和DT上取得最高AUPRC，置信区间有重叠；McNemar检验表明，在部分比较中（如DT与SimpleVAE、DT与ADASYN、LR与Borderline-SMOTE），所提方法具有显著差异，纠正了更多错误。

在讨论部分，研究人员指出方法优势在于保守性、可解释性和效率，即仅添加少量合成样本（638和947个）而非大规模平衡，每个合成样本经过几何一致性和监督似然性过滤，且训练集扩展有限而不牺牲预测竞争力。局限性包括：仅评估两个金融欺诈数据集，未覆盖完整场景；未考虑时间分布变化或多队列场景；监督似然性过滤可能偏向已观察模式，丢弃新颖欺诈模式；未建模操作成本或决策策略。未来研究应扩展到更多数据集、纳入时间验证、分析分布变化，并探索基于独立分区或包外预测的辅助过滤方案。研究结论翻译如下：本研究提出了一种保守性数据增强策略，用于极端不平衡下的信用卡欺诈检测。该方法结合SMOTE、几何过滤和监督似然性，以选择局部一致且具有判别价值的合成样本，而不进行大规模类别平衡。在ULB上，方案添加了638个最终合成样本，并在六个分类器中的四个取得最佳AUPRC；在IEEE-CIS上，添加了947个最终合成样本，并在三个分类器中取得最佳AUPRC，显示出在第二个异构数据集上的竞争性表现。结果表明，在表格金融欺诈场景中，合成样本的质量与数量同样重要。统计验证和消融分析支持监督似然性过滤作为质量控制机制的作用，但方法的收益因分类器和数据集而异。因此，该方案应被视为一种简约且保守的少数类增强替代方案，而非普遍优越的解决方案。未来研究应在更多数据集上评估该方法，纳入时间验证，分析分布变化，并探索基于独立分区或包外预测的辅助过滤方案。