基于双分支生成对抗网络的异常检测中的正样本无标签学习方法
《Knowledge-Based Systems》:Positive-unlabeled learning for anomaly detection based on dual-branch generative adversarial networks
【字体:
大
中
小
】
时间:2026年01月19日
来源:Knowledge-Based Systems 7.6
编辑推荐:
针对正负未标记学习中的类先验估计不准确和合成样本有偏问题,提出PUGANomaly双分支GAN架构,整合自训练机制和联合评分策略,实验证明其在MNIST等数据集上优于现有方法。
魏秦燕|李爱华|胡聚翔|韩澈|池玉雪|史勇
中央财经大学管理科学与工程学院,中国北京市海淀区学院南路39号,邮编100081
摘要
在正样本-未标记(PU)学习环境下进行异常检测仍然具有挑战性,因为只有少数样本被标记,而大部分数据仍然未标记,并且可能受到未知异常的污染。现有的PU学习方法通常依赖于不精确的类别先验估计或有偏的合成样本生成,这可能导致优化不稳定和检测性能下降。为了缓解这些限制,我们提出了PUGANomaly,这是一种基于双分支生成对抗网络(GAN)的新型PU学习方法用于异常检测。PUGANomaly将异常检测和PU学习整合在一个统一的架构中。通过引入自训练机制和联合异常评分策略,PUGANomaly从异常相似性和正常差异性的角度迭代改进伪负样本和模型参数。此外,我们设计了一组特定于PU的损失函数,以明确增强正常和异常表示之间的分离。为了进一步提高区分能力,还加入了一个辅助分类器来学习标记异常和伪正常样本之间的决策边界,然后通过集成学习模块将基于重建的异常分数与输出结果融合。在MNIST、FashionMNIST和Alzheimer数据集上进行的广泛实验表明,PUGANomaly在异常检测任务上一致且统计上优于现有的基于GAN的PU学习模型,在有限的监督下实现了更高的检测准确性和鲁棒性。
引言
异常检测,也称为离群点检测,是计算机视觉和机器学习中的重要任务,旨在通过建模典型的正常数据特征或分布来识别偏离预期模式的样本[1]、[2]、[3]、[4]。由于异常事件的重要性,异常检测已广泛应用于各种现实场景,包括疾病诊断[5]、工业缺陷检测[6]和金融欺诈检测[7]。近年来,基于深度学习的方法,特别是基于生成对抗网络(GAN)的方法,通过学习紧凑的正常数据表示并通过重建错误来识别异常[8]、[9]、[10],表现出显著的性能。然而,这些方法严重依赖于大规模、清晰标记的正常样本来准确捕捉正常模式。在实践中,获取此类完全标注的数据往往成本高昂且耗时,大大限制了这些方法的适用性。因此,开发能够在有限监督下有效运行的异常检测技术已成为一个日益紧迫的研究挑战。
在许多实际应用中,数据收集过程只能产生少量的标记正样本和大量类别组成未知的未标记数据。这对传统的机器学习方法提出了重大挑战[11]。例如,在信用卡欺诈检测中,只有少数欺诈交易能够被可靠地识别和标记,而大多数由于高验证成本而保持未标记状态。由于未标记数据通常包含正常样本和异常样本的混合,因此假设可以访问干净正常数据并需要正负标签的监督分类器的传统异常检测方法不再适用。为了解决这一学习范式,引入了正样本-未标记(PU)学习,该方法仅使用标记的正样本和包含两类数据的未标记数据来构建有效的分类器[12]、[13]、[14]、[15]、[16]。
受到PU学习框架进展的启发,最近的一些研究尝试将异常检测方法适应于PU环境[17]、[18]。然而,它们大多集中在有丰富正样本监督下的分布外检测上,这限制了它们在异常样本极其稀缺情况下的有效性。此外,现有的PU学习方法通常依赖于代表性的先验信息,当正样本有限且不具代表性时,这些信息难以准确估计[12]、[13]、[14]。为了解决这个问题,提出了基于GAN的PU学习方法,这些方法利用对抗训练来合成正负样本而无需显式先验估计,从而减轻过拟合[19]、[20]、[21]、[22]。然而,这些方法的性能严重依赖于生成样本的质量。不准确或有偏的生成可能会扭曲学习到的决策边界,导致优化不稳定和异常检测性能下降。为了克服上述限制,本研究提出了PUGANomaly,这是一种基于双分支GAN架构的新型PU学习框架用于异常检测。PUGANomaly结合了异常检测和PU学习的优势,为PU环境下的异常检测提供了有效的解决方案。
与依赖于单一对抗过程来合成条件样本的现有方法(例如,Divergent GAN(D-GAN)不同,PUGANomaly采用了双分支设计,互补地捕捉异常和正常模式。具体来说,首先训练一个异常分支GAN来捕捉异常流形并从未标记数据中识别高置信度的伪正常样本。然后,使用这些伪正常样本来训练正常分支,从而更准确地建模正常性。此外,引入了一种联合评分策略,从两个互补的角度评估未标记样本,即与异常模式的相似性和与正常性的偏差,以克服使用单一基于重建或判别标准的局限性。通过整合这些互补的角度,PUGANomaly有效地捕捉了正常和异常特征,从而实现了稳健的异常推断。此外,为了减轻现有方法对GAN生成样本保真度的强烈依赖,PUGANomaly引入了一个迭代自训练机制,逐步改进伪正常样本并重新校准正常分支,从而减少由不完美样本生成引起的误差积累。为了在标记异常稀少和未标记数据受污染的情况下进一步增强表示学习,设计了一组特定于PU的损失函数,将PU约束明确嵌入到重建目标中,实现了异常和伪正常流形之间更原则性的分离。此外,还加入了一个辅助分类器来明确学习标记异常和伪正常样本之间的决策边界。在推理过程中,受到集成学习的启发,将双分支GAN的基于重建的异常分数与辅助分类器产生的判别概率融合,得出最终的复合异常分数。
本研究的主要贡献可以总结如下:
- •
一种新型的基于PU的异常检测架构。我们提出了PUGANomaly,这是一种为PU环境下的异常检测量身定制的双分支GAN框架。该框架结合了自训练机制、联合异常评分策略、辅助分类器和集成学习器,有效结合了基于重建和基于分类的证据,以提高检测性能。
- •
特定于PU的训练目标。我们设计了一组专门适应PU学习场景的损失函数,使得在标签有限的情况下能够稳定地进行GAN训练。这些训练目标减少了对完全标记数据集的依赖,并增强了异常和正常表示之间的分离。
- •
卓越的实验性能。在包括MNIST、FashionMNIST和Alzheimer数据集在内的基准数据集上进行的广泛实验表明,PUGANomaly在异常检测任务上一致且统计上优于现有的基于GAN的PU学习模型,在有限监督下实现了更高的检测准确性和鲁棒性。
相关工作
相关工作
在本节中,我们对现有的相关研究进行了系统的回顾,概述了它们的理论基础、方法论进展和固有的局限性。这一回顾为我们提出的框架旨在解决的挑战提供了背景,并强调了它在基于GAN的异常检测和PU学习领域中的具体研究空白。
首先,我们回顾了经典的基于GAN的异常检测方法,这些方法通常学习正常数据的分布
问题定义
我们将异常检测任务视为二分类问题。设y∈{0, 1}为类别标签,其中表示正类,表示负类。设表示输入特征向量。给定联合密度p(x, y),条件概率密度定义如下:,其中pp(x)和pn(x)分别表示正类和负类的边际分布。设
PUGANomaly
PUGANomaly受到GANomaly的启发,后者通过学习正常样本的底层流形并通过基于重建的异常分数来识别偏差来进行异常检测。为了将这种基于GAN的异常检测框架扩展到PU环境,PUGANomaly引入了一个双分支生成对抗网络模块(DGANM),并结合了一个自训练机制(如图1所示)。该机制逐步从未标记数据中选择高置信度的伪正常样本
数据集
我们首先在两个广泛采用的基准图像数据集MNIST [41]和FashionMNIST [42]上评估了PUGANomaly的性能。这些数据集常用于异常检测研究,为评估模型在低维图像数据上的行为提供了受控环境。MNIST包含70,000张手写数字的灰度图像,其中60,000张用于训练,10,000张用于测试。每张图像的空间分辨率为28×28像素,属于十个不同的数字之一
异常检测性能
本节比较了PUGANomaly与四种基于GAN的PU学习模型和无监督基线模型(GANomaly)在MNIST和FashionMNIST数据集上的AD性能。所有结果在四种不同的正类先验设置
πp∈{0.005, 0.05, 0.1, 0.3}下报告,并在表1中总结。从这些结果中可以得出几个重要观察:•首先,一旦训练数据受到污染,GANomaly的性能会显著下降
结论
在这项研究中,我们提出了PUGANomaly,这是一种为PU环境下的异常检测设计的双分支GAN框架。它通过结合双分支GAN架构和自训练机制以及联合评分策略,扩展了传统的基于GAN的异常检测框架。同时,设计了一组特定于PU的损失函数,直接从少量标记的正样本中区分正常和异常分布
CRediT作者贡献声明
魏秦燕:撰写——原始草稿、可视化、验证、软件、方法论、数据管理。李爱华:撰写——审阅与编辑、验证、方法论、资金获取、形式分析、概念化。胡聚翔:撰写——审阅与编辑、方法论、形式分析。韩澈:撰写——审阅与编辑、软件、方法论。池玉雪:撰写——审阅与编辑、监督。史勇:撰写——审阅与编辑、监督。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本研究得到了国家自然科学基金(编号71932008、编号71401188)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号