AdaDCL：用于推荐系统的自适应噪声增强扩散对比学习方法

《Neurocomputing》：AdaDCL: Adaptive noise enhanced diffusion contrastive learning for recommendation

　　

摘要

将生成式扩散模型与对比学习相结合，可以有效缓解推荐系统中的数据稀疏问题。然而，现有方法大多依赖随机高斯噪声，这种做法忽略了数据的内在拓扑结构，还会导致分布偏移。此外，简单的线性融合会导致用户意图与噪声之间的特征纠缠。为了解决这些问题，我们提出了AdaDCL，这是一种基于结构化先验和解耦调制的结构感知框架。首先，变分自编码器提取潜在参数，构建包含结构信息的生成先验。随后，特征级线性调制模块将辅助语义转换为动态参数，从而实现对潜在特征的独立控制。这样一来，增强后的信号在整合语义信息的同时，还能保留重要的协同关系。最后，这些融合后的信号被注入扩散模型中进行重建，从而生成真实的用户偏好作为对比视图，同时采用多任务协同优化策略来使生成梯度和判别梯度保持一致。在三个数据集上的大量实验表明，AdaDCL在整体平均性能上优于现有的最先进方法，在大多数指标上都具有统计学显著性，并且在所有指标上都呈现出稳定的提升效果。

引言

随着数字技术的快速发展，推荐系统面临着从海量数据中准确挖掘用户潜在偏好的重要任务[1]、[2]、[3]、[4]、[5]、[6]。对比学习[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]旨在利用无标签数据捕捉细粒度的相似性，已成为解决数据稀疏和噪声问题的关键方法。早期的研究，如SimGCL[16]，证明了在嵌入空间中注入均匀噪声的有效性，而XSimGCL[17]则进一步优化了计算复杂度，减少了流行度偏差。为弥补随机噪声所固有的语义缺陷，CoGCL[18]引入了离散的协同编码机制来增强语义信号。

与此同时，扩散模型推动了推荐系统向生成建模方向的转变。像DiffMM[19]和DDRM[20]这样的模型在分布建模和去噪重建方面展现了出色的能力。受此启发，InfoDCL[21]将扩散生成技术融入对比学习框架，通过融合辅助语义来生成对比视图，从而超越了SimGCL[16]所使用的盲目高斯噪声方法。

不过，现有的方法仍然存在两个根本性的局限。首先，就随机性而言，大多数方法（如SimGCL）依赖于盲目的扰动，这可能会导致语义漂移，破坏原有的协同结构。例如，当某个行为不频繁的用户只与某个兴趣领域内的少数物品有过交互时，各向同性的高斯扰动可能会将该用户对应的物品表示推向嵌入空间中无关的高密度区域。这样得到的正面视图虽然会被优化为似乎仍保留着原有的偏好语义，但实际上可能已不能反映用户的真实意图。其次，就机制而言，CoGCL[18]可能存在量化信息损失的问题，而生成式方法则往往需要较高的计算成本。此外，InfoDCL[21]背后的机制依赖于随机高斯噪声与辅助信息之间的直接耦合。这种加法耦合将内在的偏好结构与外在的辅助信号视为一个混合向量，使得很难判断某个特征维度的变化是源于用户意图、结构先验还是注入的噪声。该方法没有明确挖掘原始数据中的内在结构，也没有分离出不同层面的语义因素，因此学到的表示仍可能因随机性而出现语义漂移。

我们认为，理想的增强方式应该是潜在空间内的内在几何变形，而非在真空环境中合成噪声。然而，要实现这一目标面临两个主要挑战：

• (i)
  结构偏差：在数据稀疏的情况下，随意的随机噪声会忽略用户兴趣的内在几何结构。这会导致增强后的嵌入偏离局部偏好流形，生成的正面视图的语义可能与最初的交互行为不一致。
• (ii)
  解耦融合：现有的加法融合方法会将辅助语义直接与交互嵌入混合在一起，无法有效区分用户的核心意图、结构先验以及随机扰动。

为了解决上述问题，我们提出了AdaDCL（用于推荐的自适应噪声增强型扩散对比学习）。我们没有依赖随机噪声，而是为每种类型的辅助信息设计了基于变分自编码器的结构化先验生成器。具体而言，该模块利用变分自编码器[22]捕获原始交互数据的潜在分布，然后通过特征级线性调制[23]机制将双源辅助语义转换为动态的仿射参数，从而分别控制潜在噪声的位置、分散程度以及最终的语义方向。如图1所示，经过调制的语义种子随后被注入扩散过程。结合多目标协同优化策略，这种方法有助于生成有用的对比视图。据我们所知，AdaDCL是首批尝试将基于变分自编码器的结构化先验与基于特征级线性调制的解耦机制结合起来，用于在推荐系统中生成自适应扩散噪声的方法之一。

本研究的主要贡献如下：

• •
  我们设计了一种结构化的噪声生成机制，用基于变分自编码器的内在先验和经特征级线性调制处理的仿射变换，替代了盲目的高斯扰动。这种设计将分布重建与语义处理分开，降低了随机增强带来的语义漂移问题。
• •
  我们提出了AdaDCL，这是一种结构感知的扩散对比学习框架，它将生成的有用噪声注入扩散过程，从而在反馈数据稀少的情况下构建有意义的对比视图。
• •
  我们在三个现实世界的数据集上进行了广泛的实证测试，包括组件消融实验、参数敏感性分析、效率评估、信噪比比较以及可视化分析，以此来验证所提出模块的有效性和稳定性。

章节节选

用于推荐的对比学习

对比学习作为一种通过最大化一致视图之间的互信息来解决数据稀疏问题的有效方法，已经得到了广泛应用[24]、[25]、[26]、[27]、[28]、[29]、[30]。早期的研究，如SGL[31]，通过使用随机图结构扰动（例如边缘丢弃）来生成增强后的视图。不过，这种方法计算成本较高，而且有可能破坏数据的内在语义拓扑结构。后续的研究，如SimGCL[16]和XSimGCL[17]，则进一步

方法论

在本节中，我们将介绍所提出的AdaDCL框架，其概念结构如图2所示。该框架主要负责将原始交互数据与双源辅助知识转换为具有语义信息的噪声。这种结构化的噪声随后被注入扩散模型的正向传播过程中。之后，通过反向去噪过程，就可以生成融合了这些语义信号的增强嵌入。这些高保真度的嵌入可以作为对比学习的视图

数据集

为了全面评估AdaDCL的性能，我们在三个广泛使用的基准数据集上进行了大量实验：Amazon-Office、ML-1M和Yelp。这些数据集在领域、规模和数据稀疏程度方面存在显著差异。关于用户、物品以及交互行为的详细统计信息见表1。

我们采用两种标准指标来评估性能：Recall@K和NDCG@K（为简洁起见，在后续表格中分别记为R@K和N@K）。

基线模型

为了验证

结论

在本文中，我们提出了AdaDCL，这是一种全新的自适应扩散对比学习框架，旨在有效解决推荐系统中因数据稀疏而产生的表示学习偏差问题。与那些依赖随机高斯噪声进行启发式增强的传统方法不同，AdaDCL通过引入变分自编码器和特征级线性调制机制，重新定义了对比视图的生成方式。这一创新设计

CRediT作者贡献说明

田仁杰：写作——审阅与编辑，写作——初稿撰写，可视化，验证，方法论，形式化分析，数据整理。杨敏希：指导，方法论，概念设计。谢峰：指导，方法论。高大华：指导，资源协调，方法论，资金获取，概念设计。林振远：可视化，验证。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

田仁杰目前是中国西安电子科技大学人工智能学院的博士生，主修智能科学技术。他的研究兴趣包括推荐系统和图神经网络。

田仁杰|杨敏希|谢峰|高大华|林振远

中国陕西省西安市西凤路兴隆段266号，西安电子科技大学人工智能学院，邮编710126