《推荐系统中异常检测的无监督机器学习与深度学习技术的比较研究》
罗多尔福·博霍克(Rodolfo Bojorque)
雷米吉奥·乌尔塔多(Remigio Hurtado)
米格尔·阿科斯-阿鲁戈(Miguel Arcos-Argudo)
毛里西奥·奥尔蒂斯(Mauricio Ortiz)
《Information》:A Comparative Study of Unsupervised Machine Learning and Deep Learning Techniques for Anomaly Detection in Recommender Systems
Rodolfo Bojorque,
Remigio Hurtado,
Miguel Arcos-Argudo and
Mauricio Ortiz
【字体:
大
中
小
】
时间:2026年04月30日
来源:Information 2.9
编辑推荐:
摘要 推荐系统越来越多地面临异常用户行为的影响,这些行为可能会扭曲推荐结果并降低系统的可靠性。在现实世界中,能够识别恶意活动的明确标签很少可用,这激发了采用无监督检测方法的需求。本研究对用于推荐系统中异常检测的经典机器学习和深度学习技术进行了系统的比较分析
摘要 推荐系统越来越多地面临异常用户行为的影响,这些行为可能会扭曲推荐结果并降低系统的可靠性。在现实世界中,能够识别恶意活动的明确标签很少可用,这激发了采用无监督检测方法的需求。本研究对用于推荐系统中异常检测的经典机器学习和深度学习技术进行了系统的比较分析。利用MovieLens 1M数据集,我们基于从明确评分数据中提取的统计特征、时间特征和交互特征构建了用户级行为表示。我们评估了三种无监督检测模型:隔离森林(Isolation Forest)、一类支持向量机(One-Class Support Vector Machine)和基于自编码器的神经网络(autoencoder-based neural network)。为了解决缺乏真实标签的问题,我们使用了一种全面的无标签评估协议来进行评估,包括得分分布分析、基于百分位的阈值设定、排名稳定性和模型间一致性。此外,我们还进行了带有合成攻击模式的控制实验,以评估在不同对抗策略下的检测性能。结果表明,各个模型捕捉到了异常行为的不同方面,但它们之间的一致性较低。集成评分策略提高了排名稳定性,并提供了一种一致的方法来识别高度偏离常态的用户行为。研究结果表明,在标签稀缺的情况下,基于集成的无监督检测是一种实用且易于解释的推荐系统监控方法。
1. 引言
推荐系统已成为现代数字生态系统的基本组成部分,影响着电子商务平台、流媒体服务、社交网络和在线市场的用户体验[1]。通过利用历史上的用户-物品交互数据,这些系统旨在提供个性化的推荐,从而提升用户参与度、满意度和平台留存率。随着推荐系统对用户决策和市场影响力的增强,其鲁棒性和可信度变得至关重要。然而,推荐系统的广泛采用也使它们容易受到对抗性操纵。其中,最受研究的威胁之一是恶意或策略性用户的存在,他们试图通过注入偏见性交互来影响推荐结果,这通常被称为刷单或 perfil 注入攻击[2,3]。此类攻击会扭曲排名算法,不公平地推广特定物品,并降低协同过滤模型的可靠性。早期的实证研究表明,即使很少的恶意 perfil 也能显著改变推荐结果,尤其是在数据稀疏的环境中[2,4]。这些发现揭示了协同推荐系统的脆弱性,并促使了防御机制的发展。
传统的对抗刷单攻击的措施主要依赖于基于规则的启发式方法或假设存在标记攻击数据的监督分类方法[4]。虽然这些方法在受控实验环境中可能有效,但在实际应用中存在重大限制。明确标识恶意用户的注释很少可用,攻击策略会随时间演变,而且对抗行为往往与合法但非典型的用户行为重叠[3]。这些挑战突显了在动态推荐环境中保持静态防御机制的难度。
作为回应,异常检测已成为推荐系统安全的一种有前景的方法[5,6]。异常检测方法不是对预定义的攻击类别进行建模,而是将恶意行为视为对典型交互模式的偏离。基于树、核和神经网络的无监督模型已经证明能够在不需要标记训练数据的情况下捕捉到不规则的评分分布、异常的时间活动和异常的交互模式[5]。然而,现有的大部分文献都是孤立地评估检测技术,或者仅在合成攻击注入场景下进行评估,这限制了人们对不同检测范式在一致特征表示下如何比较和交互的理解。尽管有许多异常检测技术,但缺乏标准化的评估框架,无法在真实约束条件下(如缺乏标记攻击数据的情况下)对各种模型进行一致性比较。实际上,推荐系统必须在标签稀缺的情况下运行,此时对抗行为的本质和普遍性都是不确定的。这一空白促使了需要系统性和可重复的评估方法,以超越单一模型性能的评估,而是在多个维度上评估检测行为。
另一个挑战是缺乏真实标签。在无监督环境中,无法直接计算传统的性能指标,如精确度和召回率。研究人员必须依赖间接评估指标,包括得分分布、阈值稳定性和模型间一致性[3]。这种方法论限制强调了在无标签环境下进行比较分析和基于集成的分析的重要性,以评估鲁棒性和减少模型特定偏差。
受这些挑战的启发,本研究对推荐系统中的异常检测进行了系统的比较分析,比较了无监督机器学习和深度学习技术。我们使用MovieLens 1M数据集作为代表性基准,构建了基于统计特征、时间特征和交互特征的用户级行为表示。我们评估了三种广泛采用的检测范式——隔离森林(Isolation Forest)、一类支持向量机(One-Class Support Vector Machine)和基于自编码器的神经网络(autoencoder-based neural network),并通过集成评分策略研究了它们的单独和集体行为。
本工作的贡献有三方面。首先,我们提供了一个统一的实验框架,用于在一致的行为特征表示下比较经典的机器学习和基于深度学习的无监督异常检测模型。其次,我们引入了一种全面的无标签评估协议,结合了得分分布分析、基于百分位的阈值设定、排名稳定性和模型间一致性。第三,我们使用合成攻击模式进行了控制实验,以系统地评估不同对抗策略下的检测行为。本研究的目的不是提出一种新的检测算法,而是提供一个严格且可重复的比较分析,以弥合推荐系统异常检测方法评估方法论上的差距。
本文的其余部分组织如下。第2节回顾了推荐系统安全性和异常检测的相关工作。第3节描述了材料和方法,包括数据集、预处理策略、特征工程流程和无监督检测模型。第4节介绍了实验设置,包括超参数配置和无标签评估协议。第5节报告了实验结果,第6节讨论了其意义。第7节总结了本文并提出了未来研究的方向。
2. 相关工作
关于推荐系统安全性的研究主要集中在检测和缓解刷单或 perfil 注入攻击上,恶意用户试图通过注入偏见性评分来操纵推荐结果。Lam和Riedl的早期基础工作[2]表明,即使少量恶意 perfil 也会使协同过滤系统受到攻击。后续研究扩展了攻击建模和防御策略,包括用于识别恶意用户的基于特征的分类方法[3,4]。这些工作确立了协同推荐系统中攻击模型和防御机制的基本分类。
几项调查系统地分析了推荐系统中的漏洞和应对措施。Gunes等人[7]提供了关于刷单攻击和检测策略的全面概述,强调了基于规则和启发式方法的局限性。更近期的研究提出了越来越复杂的刷单攻击策略,包括旨在绕过传统检测机制的基于图卷积的生成模型[8]。这些发展表明了对抗行为的演变性质以及在动态环境中保持强大检测机制的难度。
传统的攻击检测方法通常依赖于基于监督学习的框架,假设存在标记的攻击数据[4]。然而,在实际应用中,能够识别恶意用户的明确标签很少可用,攻击策略会随时间演变,而且对抗行为往往与合法但不典型的用户行为重叠[3]。这些挑战突显了在动态推荐环境中维护静态防御机制的困难。
作为回应,异常检测作为一种有前途的推荐系统安全方法应运而生[5,6]。异常检测方法不是对预定义的攻击类别进行建模,而是将恶意行为视为对典型交互模式的偏离。基于树、基于核和基于神经网络的无监督模型已经证明能够在不需要标记训练数据的情况下捕捉到不规则的评分分布、异常的时间活动和不寻常的交互模式[5]。尽管如此,现有的大部分文献都是孤立地评估检测技术,或在合成攻击注入场景下进行评估,这限制了对不同检测范式在一致特征表示下如何比较和交互的理解。
尽管有许多异常检测技术,但缺乏标准化的评估框架,无法在真实约束条件下(如缺乏标记攻击数据)对各种模型进行一致性比较。在实际应用中,推荐系统必须在标签稀缺的情况下运行,此时对抗行为的性质和普遍性都是不确定的。这一缺口促使需要系统和可重复的评估方法,这些方法不仅仅评估单个模型的性能,而是从多个维度评估检测行为。
另一个挑战是缺乏真实标签。在无监督环境中,传统的性能指标(如精确度和召回率)无法直接计算。研究人员必须依赖间接评估指标,包括得分分布、阈值稳定性和模型间一致性[3]。这种方法论限制强调了在无标签环境下进行比较和基于集成的分析的重要性,以评估鲁棒性和减少模型特定偏差。
受这些挑战的驱动,本研究对推荐系统中的异常检测进行了系统的比较分析,比较了无监督机器学习和深度学习技术。我们使用MovieLens 1M数据集作为代表性基准,构建了基于统计特征、时间特征和交互特征的用户级行为表示。我们评估了三种广泛采用的检测范式——隔离森林(Isolation Forest)、一类支持向量机(One-Class Support Vector Machine)和基于自编码器的神经网络(autoencoder-based neural network),并通过集成评分策略研究了它们的单独和集体行为。
本工作的贡献有三个方面。首先,我们提供了一个统一的实验框架,用于在一致的行为特征表示下比较经典的机器学习和基于深度学习的无监督异常检测模型。其次,我们引入了一种全面的无标签评估协议,结合了得分分布分析、基于百分位的阈值设定、排名稳定性和模型间一致性。第三,我们使用合成攻击模式进行了控制实验,以系统地评估不同对抗策略下的检测行为。本研究的目的不是提出新的检测算法,而是提供一个严谨且可重复的比较分析,以弥合推荐系统异常检测方法评估方法论上的差距。
本文的其余部分组织如下。第2节回顾了推荐系统安全性和异常检测的相关工作。第3节描述了材料和方法,包括数据集、预处理策略、特征工程流程和无监督检测模型。第4节介绍了实验设置,包括超参数配置和无标签评估协议。第5节报告了实验结果,第6节讨论了它们的意义。第7节总结了本文并提出了未来研究的方向。
2. 相关工作
关于推荐系统安全性的研究主要集中在检测和缓解刷单或 perfil 注入攻击上,恶意用户试图通过注入偏见性评分来操纵推荐结果。Lam和Riedl[2]的早期基础工作表明,即使相对较少的恶意 profil 也会使协同过滤系统受到攻击。后续研究扩展了攻击建模和防御策略,包括用于识别恶意用户的基于特征的分类方法[3,4]。这些工作建立了协同推荐系统中攻击模型和防御机制的基本分类。
几项调查系统地分析了推荐系统中的漏洞和应对措施。Gunes等人[7]提供了关于刷单攻击和检测策略的全面概述,强调了基于规则和启发式方法的局限性。更近期的研究提出了越来越复杂的刷单攻击策略,包括旨在绕过传统检测机制的基于图卷积的生成模型[8]。这些发展表明了对抗行为的演变性质以及在动态环境中保持强大检测机制的难度。
传统的攻击检测方法通常依赖于基于监督学习的框架,假设存在标记的攻击数据[4]。然而,在实际应用中,能够识别恶意用户的明确真实标签很少可用。此外,合法用户可能会表现出与攻击profile相似的行为模式,这进一步复杂化了分类问题。这一限制激发了将恶意行为视为对正常用户行为的偏离的异常检测方法的探索。
使用统计和机器学习方法已经在推荐系统中探索了异常检测。Yang等人[9]提出通过基于特征的评分模式建模来检测异常用户行为。更广泛地说,无监督异常检测技术在数据挖掘文献中得到了广泛研究[10,11],包括基于树的方法(如隔离森林[12])、基于核的方法(如一类支持向量机[13])和神经网络模型(如自编码器[14,15])。虽然这些模型在一般异常检测任务中表现有效,但在推荐系统背景下的比较评估仍然有限。
最近的进展还考虑了基于集成的检测策略来提高鲁棒性。集成方法旨在聚合异构的异常信号并减少模型特定偏差[16]。然而,大多数现有研究要么关注合成攻击注入场景,要么单独评估单一检测范式。在一致的行为表示下对经典机器学习和深度学习方法进行比较分析仍然相对较少。
与之前假设存在标记攻击或合成注入实验的研究不同,本研究采用了纯粹的无监督视角,并在一致的特征提取框架下评估了多种检测范式。通过分析模型一致性、阈值稳定性和集成效果,而不依赖于真实标签,本研究有助于在理论攻击建模和实际推荐系统环境中的异常检测之间架起桥梁。
尽管在多个机器学习背景下探索了基于集成的异常检测方法,但许多现有研究依赖于存在标记攻击画像的监督或半监督环境。然而,在推荐系统环境中,由于对抗策略的演变性质以及难以确定恶意用户的存在,这样的标记数据很少可用。
本研究提出的框架在三个重要方面不同于之前的集成方法。首先,它采用了完全无监督的视角,整合了包括基于树、基于核和基于神经网络的异构异常检测范式,而不需要标记的攻击数据。其次,所提出的方法依赖于仅从评分交互中提取的统一行为表示,结合了可以直接从标准推荐系统日志中计算出的统计特征、时间特征和交互特征。第三,评估方法强调了无标签验证指标的重要性,包括异常得分分布、基于百分位的阈值稳定性和跨模型一致性。这些元素共同为在真实数据约束下运行的推荐系统中的异常检测提供了实用且易于解释的框架。
3. 材料和方法
3.1. 数据集描述
本研究基于MovieLens 1M数据集进行,该数据集是推荐系统研究中的广泛使用的基准[17]。该数据集由GroupLens研究小组发布,包含了从MovieLens在线平台收集的用户-物品评分交互。MovieLens 1M包含大约一百万条评分,由6040名用户对3706部电影进行评分,评分范围从1到5分。每个评分都附有时间戳,这使得除了评分分布之外,还可以分析时间活动模式。数据集还包括基本的用户元数据和物品信息;然而,本研究仅关注交互数据,以确保所提出的检测框架仅依赖于在实际推荐系统部署中常见的可观察行为信号。
由于数据集的稀疏特性和用户活动水平的异质性,MovieLens数据集特别适合分析异常行为。虽然数据集不包含识别恶意或攻击驱动用户的明确标签,但它为无监督异常检测提供了一个现实的环境,在这种环境中,可疑行为必须从评分、时间和交互模式的偏差中推断出来,而不是预定义的攻击注释。
在特征提取之前,对数据集进行了最小程度的过滤,以移除交互次数极低的用户和物品,因为这些profile 提供的信息不足以进行稳定的行为特征描述。这一步骤提高了统计和时间特征的可靠性,同时没有改变数据集的固有分布特性。
总体而言,MovieLens 1M数据集作为一个代表性且可重复的基准,用于评估推荐系统中的无监督检测模型,使得可以与之前的工作进行有意义的比较,同时反映了实际场景中遇到的实际约束。
3.2. 预处理和特征工程
3.2.1. 过滤策略
为了确保提取的行为特征的鲁棒性和稳定性,对MovieLens 1M数据集进行了最小限度的过滤。具体来说,在特征提取之前移除了交互次数极低的用户和物品。评分少于20次的用户和收到评分少于20次的物品被排除在分析之外。
这种过滤步骤旨在减轻高度稀疏的用户profile 和评分稀少的物品的影响,这些因素可能会在用户级行为特征中引入噪声和不可靠的统计估计。非常短的交互历史可能导致评分分布统计、时间活动模式和物品受欢迎程度的估计不稳定,从而对检测模型的性能和可解释性产生负面影响。
所选择的阈值遵循了推荐系统研究和异常检测研究中的常见做法,其中要求最低水平的交互以确保有意义的行为特征描述。重要的是,这种过滤不会改变数据集的原始评分分布,而是提高了用于后续检测任务的用户表示的可靠性。
虽然这种过滤策略提高了用户级特征的统计可靠性,但它可能会通过排除低活动用户而引入选择偏差。特别是在某些类型的对抗性行为中,例如在交互分布的“长尾”部分进行的低容量或隐蔽性攻击,可能无法在这种约束下被捕捉到。因此,所提出的框架主要用于检测足够活跃的用户档案中的异常行为,在这些档案中可以稳健地表征行为模式。3.2.2 特征提取管道:以检测为导向的特征工程管道。在预处理和过滤之后,在用户层面应用了以检测为导向的特征提取管道。每个用户档案都被表示为一个固定长度的特征向量,该向量捕获了仅从观察到的评分行为中得出的统计、时间和交互特征。首先,提取了基于评分的统计特征,包括评分数量、评分的平均值和标准差、最低和最高评分、评分熵以及极端评分的比例。这些特征旨在捕捉异常评分模式,例如过度极化的行为或评分分布的多样性较低,这些通常与恶意或异常用户相关。其次,使用评分时间戳计算了时间活动特征。这些特征包括到达时间间隔统计、档案时间跨度、评分频率和突发性指标。时间特征对于检测在短时间内异常密集的评分活动特别相关。第三,基于项目受欢迎程度统计得出了项目交互特征。对于每个用户,计算了互动项目的平均受欢迎程度、最低值、最高值和方差。这些特征捕捉了与高度流行或小众项目互动的倾向,这可能反映了操纵或协调行为。所有特征组随后被合并成一个统一的用户级表示。缺失值使用零填充保守处理。这种选择确保了特征向量之间的一致性,同时避免了由于均值或基于分布的填充而可能引入的人为统计结构。在异常检测的背景下,这种方法保留了用户行为的原始稀疏模式,防止了基于重建或基于距离的模型产生偏差。在准备这份手稿时,仅使用了一个AI辅助的语言模型(ChatGPT-5.3,OpenAI)来改进语言,包括提高文本的语法、清晰度和可读性。该工具没有用于生成科学内容、设计方法论、进行实验或解释结果。本工作中呈现的所有科学贡献、分析和结论都是由作者开发和验证的。3.2.3 最小交互阈值的合理性为了确保行为表示的统计可靠性,对用户和项目都应用了最小交互阈值。具体来说,在特征提取之前,评分少于20次的用户和项目被移除了。在推荐系统研究中,使用最小交互阈值是一种常见且成熟的做法。先前的研究表明,非常稀疏的用户档案会导致评分分布和时间活动模式的估计不稳定,这可能对下游学习任务(包括分类和异常检测)产生负面影响[18,19]。Koren等人[18]表明,当在极短的用户历史数据上训练时,协同过滤模型及其衍生的行为表示变得越来越不可靠,因为稀疏性放大了噪声并偏置了模型学习。同样,Ricci等人[19]指出,交互历史非常有限的用户提供的信息不足以有意义地表征偏好或行为模式。从异常检测的角度来看,Chandola等人[10]强调,可靠检测异常行为需要每个实体有足够的观察次数来建立正常行为的基线。在推荐系统的背景下,评分非常少的用户档案无法提供足够的证据来区分真实的变异性和异常活动。根据经验,使用MovieLens数据集的几项研究采用了每用户10到20次交互的最小阈值,以平衡数据覆盖率和表示的稳定性[20]。遵循这些既定的做法,选择了20次评分的阈值作为一个保守的折中方案,该阈值保留了大多数用户,同时确保了特征的稳健估计。重要的是,这一步骤不会修改数据集的固有特征,而是通过排除那些统计和时间特征定义不佳的档案来提高用户级特征的可靠性。3.3 无监督检测模型鉴于MovieLens 1M数据集中缺乏指示恶意或攻击驱动行为的真实标签,本研究采用了无监督学习方法进行攻击检测。无监督模型特别适合这种情况,因为它们旨在识别与正常用户行为的偏差,而无需显式的注释,这在现实世界的推荐系统数据集中很少有。在这种背景下,检测任务被构建为一个用户级异常检测问题,其中每个用户由一个特征向量表示,该向量捕获评分统计、时间活动模式和项目交互特征。行为档案与大多数用户显著偏离的用户被视为可疑的。3.3.1 隔离森林隔离森林是一种基于树的无监督异常检测方法。与基于距离的技术不同,隔离森林通过使用随机选择的特征和分割值递归地划分特征空间来隔离异常。异常实例预计会比正常实例更快地被隔离,从而产生更短的平均路径长度[12]。这种方法特别适合高维行为特征空间,并由于其计算效率和对抗无关特征的鲁棒性而在异常检测任务中被广泛采用。在推荐系统的背景下,隔离森林使得能够识别出表现出异常评分分布或异常时间活动的用户,而无需对数据分布做出假设。3.3.2 单类支持向量机单类支持向量机(OC-SVM)也被视为一类传统的无监督基线。OC-SVM旨在学习一个决策边界,该边界包围了特征空间中的大多数正常数据点,并将边界之外的观察值视为异常[13]。尽管对特征缩放和核选择敏感,OC-SVM仍然是异常检测研究中广泛使用的基准。将其纳入本研究为评估基于树的和基于神经的方法在相同特征表示下的有效性提供了强有力的基线。为了形式化关键行为特征,定义了评分熵:其中表示用户u的值为r的评分比例,R表示可能的评分值集。时间突发性是使用在短时间间隔内发生的交互比例来量化的:其中是到达时间低于阈值 的连续交互次数, 是用户u的总交互次数。3.3.3 基于自动编码器的异常检测为了结合基于深度学习的检测,采用了自动编码器模型。自动编码器是通过学习压缩的潜在表示来重建输入数据的神经网络。当主要在正常行为模式上进行训练时,该模型对于典型用户可以达到低重建误差,而异常用户则表现出显著更高的重建误差[14,15]。在这项研究中,一个全连接自动编码器架构在标准化的用户级特征上进行了训练。重建误差作为输入和重建输出之间的均方误差来衡量,被用作异常分数。这种方法使模型能够捕捉到传统方法可能无法检测到的行为特征之间的非线性关系。3.3.4 统一检测框架所有检测模型都应用于相同的标准化用户级特征表示,以确保方法论的一致性和公平比较。所有模型在相同的数据预处理条件下独立计算异常分数。3.4 集成评分策略鉴于不同的无监督检测模型捕获了用户行为的不同结构属性,采用了一个集成评分策略将异构的异常信号整合到一个统一的排名中。集成方法通常用于异常检测中,通过聚合互补的检测视角来减少模型特定的偏差并提高鲁棒性[16]。在这项研究中,首先使用最小-最大标准化将隔离森林、单类SVM和自动编码器产生的异常分数规范化到相同的尺度。这一步确保了模型之间的可比性,因为它们的原始分数分布在规模和分散程度上可能有所不同。每个用户的集成异常分数是模型分配的规范化分数的算术平均值。形式上,让表示模型i分配的规范化异常分数。集成分数定义为:其中对应于检测模型的数量。这种简单的聚合策略是有意选择的,以保持可解释性并避免引入额外的超参数。为了保持框架的无监督和无标签性质,没有考虑更复杂的集成机制,如加权平均或堆叠。通过结合基于树的、基于核的和基于神经的异常信号,集成方法旨在一致地识别在多种检测范式中表现出异常行为的用户,同时减轻模型特定敏感性的影响。4. 实验设置所有实验都是在MovieLens 1M数据集上进行的,使用从明确评分交互中得出的用户级表示。按照前一节描述的预处理和过滤步骤,每个用户都由一个固定长度的特征向量表示,该向量捕获评分统计、时间活动模式和项目受欢迎程度特征。实验程序遵循前一节描述的方法论框架。所有检测模型都应用于从MovieLens 1M数据集派生的标准化用户级特征表示。评估了三种无监督检测模型:隔离森林、单类支持向量机和基于自动编码器的神经网络。所有模型都在相同的标准化特征集上进行了训练,以确保方法之间的可比性。特征标准化使用了z分数标准化,这对于基于距离和核的模型(如单类SVM)以及神经网络优化尤为重要[11]。4.1 超参数配置模型超参数是根据异常检测文献中常用的值选定的。对于隔离森林,使用污染参数来控制预期的异常用户比例。类似地,单类SVM中的参数nu也被配置为反映相同的预期异常率,以确保方法之间的公平对齐[12,13]。污染参数与2%百分位阈值对齐,以保持模型校准和警报策略之间的一致性。自动编码器架构由全连接层组成,具有对称的编码器-解码器结构,并通过均方误差损失进行训练,以最小化重建误差。表1总结了所有检测模型使用的超参数设置。为了确保可重复性和避免数据集特定的过拟合,使用了文献中常用的值和默认配置,而无需进行广泛调整。表1. 无监督检测模型的超参数设置。4.2 合成攻击注入尽管MovieLens 1M数据集不包含识别恶意用户的明确标签,但进行了带有合成攻击档案的控制实验,以评估所提出框架在不同对抗性场景下的检测能力。遵循推荐系统安全研究中的常见做法,模拟了三种代表性的攻击策略:随机攻击、平均攻击和从众攻击。每种攻击类型都会生成合成用户档案,这些档案试图通过在对目标项目进行评分的同时对额外的填充项目进行评分来操纵推荐过程。在随机攻击中,填充项目是随机选择的,并从可用的评分范围内均匀分配评分。这种策略产生的用户档案通常与典型的评分行为有显著偏差。平均攻击生成的填充评分接近数据集中每个项目的平均评分。通过模仿全局评分分布,这种攻击产生的档案更接近真实的用户行为,因此更难以检测。从众攻击试图通过在目标项目之外还包括一组高度流行项目的评分来掩盖恶意活动。这种策略利用项目受欢迎程度模式,使注入的档案看起来与系统的自然交互结构更加一致。对于每种攻击策略,生成了80个合成用户档案,总共产生了240个注入的攻击者档案。这些合成用户在与原始数据集合并之前进行了特征提取,使检测模型能够在受控条件下评估行为偏差。重要的是,这些注入的档案仅用于实验验证,不用于模型训练。检测模型完全是无监督的,仅根据观察到的用户行为进行训练,而不使用攻击标签。注入的档案使得能够在不同的对抗性策略下评估检测性能,同时保持了所提出框架的无监督训练设置。4.3 无真实标签的评估协议由于没有可用的真实标签,因此无法计算传统的监督评估指标,如准确性、精确度和召回率。相反,评估关注在无监督异常检测设置中常用的无标签指标。首先,进行了分数分布分析,以检查典型用户和高分异常用户之间的区分。重尾得分分布和明显的高分区域证明了模型的区分能力。其次,通过使用Jaccard相似度对排名前K的用户进行了模型间一致性分析。不同检测方法之间的高重叠度表明能够一致地识别异常行为,而低重叠度可能表明模型存在特定偏差[16]。第三,通过测量不同百分位数阈值(1%、2%、5%)下标记用户之间的重叠度进行了稳定性分析。跨阈值的稳定检测支持了异常评分过程的稳健性。最后,通过对选定的高分用户进行原始评分时间线和交互模式的分析进行了定性检查。这一步提供了可解释性和实证验证,使得能够识别出如评分爆发、极端评分分布或异常密集的交互特征等行为,这些通常与推荐系统中的可疑活动相关。
4.4. 阈值策略
每个检测模型都会为每个用户生成一个连续的异常得分,其中较高的得分表示与典型行为的偏差程度更大。为了便于跨模型比较,使用最小-最大标准化方法将异常得分转换为统一的尺度。在缺乏标记数据的情况下,采用了基于最高百分位数选择的阈值策略。具体来说,用户根据其异常得分进行排名。这种方法在无监督异常检测中广泛应用,并反映了现实世界系统中的实际警报或检查预算[10,20]。使用多个p值可以评估检测的稳定性和对假设异常率的敏感性。被标记的用户不应被视为确定的攻击者,而应被视为表现出可疑或异常行为模式的候选者。在实际部署中,评估指标如ROC-AUC和PR-AUC可以提供关于检测模型区分能力的指导,而基于百分位数的阈值则将这些能力转化为可操作的监控决策。例如,较高的ROC-AUC值表明典型用户和异常用户之间的区分度更好,支持选择更严格的阈值(例如,排名前1%),而较低的可区分度可能需要更宽的阈值以确保对可疑行为的充分覆盖。
5. 结果
5.1. 异常得分分布
图1展示了用户之间的集成异常得分分布。得分分布呈现出明显的重尾特征,其中相对较小的用户群体获得了远高于大多数用户的异常得分。这种分离表明,所提出的框架能够在不依赖标记攻击数据的情况下识别出潜在的偏差用户画像。用户在较低异常得分值的集中与无监督异常检测模型的预期行为一致,其中大多数实例对应于正常行为模式。明显的高的高分尾部表明,所提出的框架在不需要标记攻击数据的情况下能够有效区分高度偏离的用户画像。尽管基于个体检测模型的得分分布也存在类似的重尾特性,但得分分散程度的差异显著,这促使了通过集成评分来整合异构异常信号。
5.2. 基于阈值的检测和警报率
为了在没有真实标签的情况下实现异常检测,采用了基于百分位数的阈值策略。表2报告了根据集成异常得分排名的前1%、2%和5%用户的异常得分阈值。如图2所示,随着警报百分位数的增加,阈值值平滑下降,表明在不同操作点下的排名行为是稳定的。这一结果表明,基于百分位数的阈值可以作为一种实用机制,在无标签环境中进行异常监控。垂直线表示用于标记异常用户的相应阈值。用户在较低异常得分值的的高浓度并不表示得分饱和;相反,它反映了模型能够在为典型用户分配相似低得分的同时,为高度偏离的画像保留一个明显的尾部。值得注意的是,在更严格的阈值下识别的用户大多位于更宽的阈值范围内,显示出一致的排名稳定性。
5.3. 被标记用户的行为特征
为了进一步描述检测到的异常行为,进行了聚合特征分析。图3和图4展示了集成异常得分与代表性行为指标之间的关系。具有较高异常得分的用户倾向于表现出更大比例的极端评分(例如最小值或最大值),表明不寻常的评分强度可能有助于识别异常行为模式。在短时间内高度集中评分活动的用户画像往往获得更高的异常得分,表明时间上的突发模式是检测可疑用户行为的相关行为信号。然而,并非所有被标记的用户都均匀表现出这些行为特征。观察到的变异性表明,异常行为在多个行为维度上都有体现,而不仅仅通过单一主导特征表现出来。这些探索性观察结果激发了更系统地分析哪些行为信号对异常检测贡献最大的需求。接下来的章节将探究特征重要性和特征-得分相关性,以更好地解释框架产生的异常得分背后的行为驱动因素。
5.4. 模型一致性分析
使用Jaccard相似度评估了模型间检测结果的一致性。表3报告了检测方法之间的成对一致性。不同模型之间的一致性从低到中等不等,表明不同的检测范式捕捉到了异常行为的部分不同方面。集成模型与每个单独模型之间表现出一致较高的一致性,表明在集成排名中稳定性有所提高。虽然之前的分析提供了对异常检测框架内部一致性和行为特征的洞察,但它们并未直接衡量在受控对抗场景下的检测性能。为了进一步评估所提出方法的稳健性,使用模拟推荐系统中常见操纵策略的合成攻击画像进行了额外的实验。
5.5. 排名稳定性分析
为了进一步评估不同检测模型产生的异常排名的一致性,计算了额外的排名稳定性指标。虽然之前小节中展示的Jaccard相似度捕捉到了排名前K的检测用户之间的重叠,但它并没有完全反映排名顺序的一致性。为了解决这一限制,我们使用Spearman等级相关系数来评估排名稳定性,该系数衡量了模型间完整异常得分排名的单调一致性。表4报告了不同模型产生的异常得分排名与集成模型之间的Spearman等级相关性。结果表明,集成排名与单个模型之间具有中等到高的相关性,特别是对于Isolation Forest和One-Class SVM而言。这表明集成模型保留了最强模型的主导排名结构,同时减少了模型间的特定差异。较低的相关性反映了自动编码器对特征空间不同方面的敏感性,突出了基于神经的检测方法与经典方法的互补性。总体而言,集成方法在保持对可疑用户稳定且一致排名的同时,实现了异构异常信号的平衡整合。
5.6. 不同攻击类型下的检测性能
为了补充上述无标签评估,使用了第4.2节描述的合成攻击画像进行了对照实验。这些实验旨在评估所提出框架在不同对抗策略下识别异常用户行为的能力。模拟了推荐系统中三种常见的攻击策略:随机攻击、平均攻击和从众攻击。在随机攻击中,填充评分随机分配给各个项目,产生与典型用户行为严重偏离的画像。平均攻击生成的评分接近每个项目的平均评分,使得恶意画像更接近正常用户。在从众攻击中,注入用户会对一组非常受欢迎的项目以及目标项目进行评分,以便在系统的自然流行结构中掩盖他们的行为。对于每种攻击策略,都进行了one-vs-rest评估,其中注入用户被视为正类,所有其余用户被视为负类。使用ROC-AUC和PR-AUC指标评估了检测性能。表5总结了在评估的检测模型中每种攻击类型获得的ROC-AUC得分。结果显示,检测难度因攻击策略而异。随机攻击最容易被检测到,Isolation Forest获得了最高的ROC-AUC得分(0.936)。这是预期之中的,因为随机攻击产生的评分模式与真实用户的行为分布差异显著。从众攻击的检测难度处于中等水平。尽管攻击者试图通过与流行项目的互动来掩盖他们的画像,但时间活动模式和交互统计的偏差仍然允许异常检测模型识别出可疑用户。在这种情况下,One-Class SVM获得了最高的ROC-AUC得分(0.903)。相比之下,平均攻击最难检测。这些攻击故意模仿数据集的全球评分分布,使得注入的画像更类似于真实用户。尽管如此,所提出框架中使用的行为特征仍然能够实现有意义的区分,Isolation Forest的ROC-AUC得分为0.876。这些结果表明,恶意行为的可检测性不仅取决于异常检测算法,还取决于攻击策略的行为特征。产生与正常交互模式显著偏差的攻击(如随机攻击)更容易被检测到。相反,旨在模仿真实用户行为统计特性的攻击(如平均攻击)则更具检测难度。总体而言,结果表明所提出的行为特征框架能够识别多种对抗策略下的异常交互模式。这种对照评估补充了之前的无标签分析,并提供了支持所提出的异常检测方法稳健性的额外实证证据。需要注意的是,实验设置假设注入的攻击画像与真实用户的比例是固定的。虽然这种受控比例便于在不同攻击类型之间进行一致比较,但检测性能可能会因不同的对抗密度而变化。特别是,较高的攻击注入率可能会由于全局行为分布的更大偏差而提高可检测性,而较低的比率可能会导致更微妙的异常,这些异常更难与自然用户的变化区分开来。尽管如此,跨模型观察到的相对性能趋势预计将保持一致,因为它们主要反映了每种攻击策略的结构特征,而不是对抗画像的绝对比例。
5.7. 特征重要性分析
为了更好地理解哪些行为信号对异常检测贡献最大,进行了额外的特征重要性分析。由于主要检测框架在完全无监督的设置中运行,因此无法直接从异常检测模型本身得出特征重要性。为了解决这一限制,使用第4.2节引入的合成攻击标签进行了监督代理分析。在相同的用户级特征表示上训练了随机森林分类器,使用Gini重要性来估计特征重要性。这种代理分析并不改变无监督检测框架,但提供了关于哪些行为信号对于区分真实攻击与注入攻击最相关的洞察。图5展示了代理模型识别出的十个最具影响力的特征。结果表明,交互强度和时间活动特征在检测异常用户行为中起着核心作用。特别是,评分数量和整体配置文件时间跨度成为最具影响力的信号,表明异常的交互密度和异常短或集中的活动时期是可疑行为的关键指标。图5显示了使用基于合成攻击标签训练的监督代理模型按基尼重要性排列的顶级行为特征。交互强度、时间活动模式和项目流行度统计成为区分异常用户配置文件的最具影响力信号。项目流行度统计也出现在最重要的信号中。诸如项目流行度的平均值和标准差这样的特征可以捕捉用户是否与高度流行或异常不受欢迎的项目进行不成比例的交互。这些模式通常与推荐系统中的操纵策略相关联。时间突发性指标,如在短时间内发生的评分比例,也对检测有显著贡献。这些发现强调了在推荐系统环境中识别异常交互模式时结合时间行为特征的重要性。
5.8 特征-评分相关性分析
为了进一步解释异常评分机制的行为,使用Spearman等级相关系数分析了各个行为特征与集合异常评分之间的相关性。这种分析提供了关于哪些行为信号与异常评分升高最为强相关的洞察。为了补充图6中呈现的视觉分析,表6报告了与集合异常评分具有最强Spearman相关性的行为特征。图6显示了按Spearman相关性排列的顶级行为特征。时间突发性和交互频率特征与异常行为显示出最强的关系。表6显示了与集合异常评分(Spearman相关性)最相关的顶级行为特征。结果确认时间突发性指标和交互频率特征是异常行为的最强相关因素。特别是,短期突发活动(例如,burst_ratio_10min)与异常评分显示出最强的相关性,表明高度集中的评分活动是可疑行为的关键信号。此外,项目流行度统计和交互强度度量也表现出显著的相关性,表明异常用户倾向于与与典型用户行为不同的项目进行交互。图6展示了与集合异常评分相关性最强的十个特征。结果揭示时间突发性指标与异常评分显示出最强的关系。特别是,在短时间内发生的评分比例与集合评分呈负相关,表明活动爆发高度集中的用户更有可能被标记为异常。
5.9 集合聚合策略比较
由于所提出的框架集成了异构的异常检测模型,因此评分聚合策略的选择可能会影响最终异常排名的稳定性和可解释性。为了证明在所提出框架中使用均值聚合的合理性,进行了额外的实验,比较了其他评分聚合方法。除了所提出框架中使用的均值聚合外,还评估了两种替代方法:最大评分聚合和加权集合变体。为了进一步说明聚合策略之间的差异,图7展示了使用均值和最大集合聚合在原始数据集上获得的异常评分分布。均值聚合产生了更加平滑的评分分布,并且典型用户和异常尾部之间的分界更加清晰。相比之下,最大聚合策略产生了更宽的异常评分分散,这可能会增加对极端模型输出的敏感性。这种行为支持使用均值聚合作为集成异构异常信号的更稳定和鲁棒的机制。图7显示了在原始数据集上使用均值和最大集合聚合策略产生的异常评分分布。与最大聚合相比,均值聚合产生了更平滑的评分分布和更稳定的异常排名。
图8总结了使用合成攻击实验在各种模型上的检测性能比较。结果表明,均值聚合在保持优越的可解释性的同时,实现了与加权集合变体相当的性能,并避免了额外的超参数调整。相比之下,最大聚合的检测性能略低,表明依赖最极端的模型评分可能会导致异常排名不稳定。图8显示了使用合成攻击实验在各种模型上的检测性能比较。集合聚合在不同检测范式中实现了强大且稳定的性能。这些发现支持使用简单的算术平均作为集成异构异常信号的鲁棒和可解释的集合策略。通过聚合基于树的、基于内核的和基于神经的异常评分,集合方法减少了模型特定的敏感性,同时保持了跨攻击场景的稳定检测性能。
总体而言,实验结果表明,所提出的行为表示结合基于集合的无监督检测,为识别推荐系统中的异常用户行为提供了一个可靠的框架。虽然均值聚合提高了稳定性和鲁棒性,但它也可能减弱个别模型产生的强烈异常信号,这些模型对特定攻击模式特别敏感。这种权衡反映了鲁棒性和敏感性之间的平衡。实际上,均值聚合优先考虑模型间的一致性而非孤立的极端检测,这符合识别在多个视角下表现广泛异常行为的用户的目标。
6. 讨论
6.1 异常行为的异质性
结果表明,推荐系统中的异常用户行为本质上是异质的。被标记的用户并不构成一个由单一统计特性定义的 homogeneous group;相反,异常表现在多个行为维度上,包括评分极端性、时间密度和交互模式。这种异质性解释了各个检测模型之间观察到的有限成对一致性。基于树的、基于内核的和基于神经的方法强调了特征空间的不同结构特性,从而产生了互补的异常排名。重要的是要强调,这项工作的主要贡献不在于提出一种新的异常检测算法,而在于建立一个系统和可重复的评估框架,用于分析推荐系统中的无监督检测方法。通过集成异构模型、行为特征工程以及无标签和受控评估策略,该研究为在现实约束下理解检测行为提供了一种结构化的方法。
6.2 集合整合的有效性
集合评分策略通过聚合异构异常信号来减轻模型特定的敏感性。观察到的集合模型和单个模型之间的一致性增加表明,聚合增强了排名的稳定性,而无需强制执行严格的一致性。使用简单的算术平均保持了可解释性,同时避免了额外的超参数调整。这种设计选择在无标签验证数据不可用的无监督环境中尤为重要。
6.3 对推荐系统监控的实用意义
从实际角度来看,基于百分位的阈值策略与监控能力或手动检查预算有限的现实操作场景相一致。通过允许对标记用户比例进行灵活控制,该框架可以适应不同的部署约束。尽管缺乏标记的攻击数据无法对恶意行为进行明确的验证,但一致识别统计上偏离的用户配置文件表明,无监督的基于集合的检测可以在推荐系统中作为有效的一层筛选机制。
6.4 局限性
应承认本研究的几个局限性。首先,分析是使用具有明确反馈的单一公共数据集进行的。尽管MovieLens 1M在推荐系统研究中是一个广泛接受的基准,但缺乏标记的攻击数据阻止了将检测到的异常明确验证为恶意或对抗性行为。所提出的框架识别的是统计上偏离的用户配置文件,而不是确认的攻击。其次,检测方法在用户层面操作,没有明确建模用户-用户相似性网络或项目共评分图等关系结构。因此,当前的特征表示可能无法完全捕捉到协调或基于组的操纵策略。第三,集合评分策略采用简单的算术平均而没有自适应加权。虽然这种选择保持了可解释性并避免了额外的超参数调整,但在某些条件下,更复杂的聚合策略可能会提高检测敏感性。最后,评估协议依赖于无标签指标,如评分分布分析和模型一致性指标。尽管这些方法适用于无监督环境,但在缺乏真实标记的情况下,它们无法提供检测准确性的定量度量。
为了部分解决这一局限性,进行了如第4.2节所述的带有合成攻击配置文件的受控实验。这些实验允许比较不同对抗策略下的检测性能,包括随机攻击、平均攻击和跟风攻击。虽然这样的合成场景无法完全再现现实世界的对抗行为,但它们为评估所提出检测框架在已知攻击模式下的敏感性提供了一个受控的基准。这些局限性表明,所提出的框架应作为一种鲁棒的异常筛查机制来解释,而不是一个明确的攻击检测解决方案。
7. 结论
本研究提出了一个无监督框架,用于使用仅来自明确评分交互的行为特征来检测推荐系统中的异常用户行为。通过结合统计、时间和基于交互的表示,该框架将原始的用户-项目数据转换为适合无标签异常检测的结构化特征空间。对孤立森林、一类支持向量机和基于自动编码器的模型的比较评估表明,没有任何单一的检测范式能够一致地捕捉所有形式的行为偏差。相反,发现突出了推荐系统中异常行为的内在异质性,不同的检测模型强调了用户活动的互补结构特性。基于集合的评分策略有效地整合了这些异构信号,从而产生了更稳定和一致的疑似用户排名。采用基于百分位的阈值进一步使得实际部署成为可能,因为它将异常检测与现实的检查能力对齐。在多个阈值水平上观察到的异常排名稳定性支持了在无标签条件下滑提出的方法的鲁棒性。额外的带有合成攻击配置文件的受控实验进一步确认,所提出的框架可以在多种对抗策略下检测到异常行为,增强了其在实际推荐系统监控中的鲁棒性。总体而言,结果表明,基于集合的无监督检测构成了一个可行且可解释的第一层筛查机制,用于监控推荐系统中的用户行为。
未来的研究方向可能包括在多个方向上扩展该框架。首先,在其他数据集上评估该方法,包括隐式反馈环境,将增强外部有效性。其次,集成基于图的表示可以检测当前用户级别公式中未明确建模的协调或基于组的操纵策略。第三,当有限的标记示例可用时,半监督和弱监督方法可能会提供改进的敏感性。最后,结合时间演化建模可能会增强检测新兴异常模式的能力,并支持动态推荐系统部署中的早期预警机制。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号