EMM:即插即用的内存库采样技术,用于对比推荐系统

《Neural Networks》:EMM: Plug-and-Play Memory-Bank Sampling for Contrastive Recommendation

【字体: 大 中 小 】 时间:2026年04月08日 来源:Neural Networks 6.3

编辑推荐:

  对比推荐中负采样机制的研究,提出动态记忆库与Top-K混合采样方法解决负样本不新鲜、信息不足及错误惩罚问题,通过EMA更新与周期重建保持记忆多样性,结合滚动刷新与相似窗口过滤提升数据效率与训练稳定性,实验验证在多个基准上平均提升15.1%推荐质量。

  
孟志生|王健|李磊|陈文霞|何江
新南威尔士大学

摘要

在对比推荐系统中,表示质量不仅取决于编码器,还取决于样本构建:正面样本促进对齐,负面样本确保一致性,从而影响梯度强度、优化稳定性和在稀疏反馈下的数据效率。然而,现有解决方案中尚未充分探讨两个关键问题:(i) 如何获得既具有信息性又新鲜且多样化的负面样本,因为随机采样产生的梯度较弱,而仅挖掘最困难的样本很快就会过时;(ii) 如何防止误判为负面样本,即语义上接近的项被错误地惩罚,这会扭曲数据结构并破坏训练的稳定性。为了解决这些问题,我们提出了“情节记忆挖掘”(Episodic Memory Mining,简称EMM)方法,它将负面样本采样从一种基于启发式的做法转变为一种基于原则的组件,通过仅在采样层进行干预并保持主干网络不变,实现了即插即用的功能。EMM通过定期重建的EMA记忆库、从更新后的候选池中检索Top-K样本以及使用滚动刷新的小比例随机负面样本来保持负面样本的新鲜性、信息性和多样性,从而稳定梯度。在三个基准测试和五种不同主干网络上的实验中,EMM在类似的训练成本下将整体推荐质量提高了约15.1%,并显示出更强的超参数鲁棒性。这表明负面样本构建是一种简单且通用的方法,可以在稀疏反馈下提升对比推荐系统的性能。

引言

近年来,基于图的协同过滤技术趋向于使用简单但强大的主干网络,并结合自监督的对比学习目标。LightGCN通过将图卷积简化为线性邻域聚合,成为Top-K推荐的标准主干网络(He等人,2020b)。在此基础上,SGL引入了在推荐图上进行对比学习的方法,通过最大化同一节点的两个视图之间的共识来缓解数据稀疏性问题(Wu等人,2021)。后续的研究(如SimGCL、XSimGCL和LightGCL)进一步表明,性能往往更多地取决于样本构建方式,包括视图的选择以及对比学习中使用的负面样本(Cai等人,2023;Yu等人,2023;Yu等人,2022)。这些研究表明,改进对比推荐系统越来越依赖于合理的样本构建方法,这为进一步研究稀疏反馈环境下负面样本采样的局限性提供了契机。
然而,仍存在一些重要的局限性,这些局限性促使我们需要进行更系统的设计。首先,通过结合两个噪声图增强来生成正面样本可能会去除有信息性的边并改变数据的语义;实证结果表明,轻微的表示层噪声或全局规则化的视图可能比剧烈的扰动更为稳定(Cai等人,2023;Yu等人,2023)。其次,深度传播会导致过度平滑,使节点嵌入在各个层之间变得同质化,从而削弱对比学习目标所依赖的语义锚点;理论阐明了在何种条件下有限平滑是有益的,以及在何种条件下过度平滑会损害区分能力(Keriven,2022;Oono和Suzuki,2020)。第三,负面样本采样仍然存在脆弱性:纯随机生成的负面样本产生的梯度较弱,而仅挖掘最困难的样本则可能导致误判为负面样本和训练不稳定。虽然提出了去偏目标、硬负面样本混合和反事实硬负面样本等技术来增强梯度并提高安全性和稳定性,但这些技术通常单独使用,且缺乏针对推荐场景的统一方法(Chuang等人,2020;Kalantidis等人,2020)。
为了解决这些局限性,我们提出了“情节记忆挖掘”(EMM)方法,该方法将负面样本采样从一种基于启发式的做法转变为一种基于原则的组件,可以即插即用地应用于SGL、SimGCL和LightGCL等系统,而无需修改主干网络或前向传播过程。EMM通过定期重建的EMA记忆库、从更新后的候选池中检索Top-K样本以及使用滚动刷新的小比例随机负面样本来保持样本的新鲜性、信息性和多样性。在三个基准测试和五种不同主干网络上的实验中,EMM在类似的训练成本下将整体推荐质量提高了约15.1%,并显示出更强的超参数鲁棒性。这表明负面样本构建是一种简单且通用的方法,可以在稀疏反馈下提升对比推荐系统的性能。

相关工作

近期研究超越了通用的扰动方法,强调了根据推荐场景定制的合理视图构建方法。对于时空移动性和下一个兴趣点(next-POI)任务,解耦或超图模型学习了多种行为特征,并通过对比这些特征来提高在稀疏信号下的区分能力(Lai等人,2024)。在序列推荐中,SelfGNN构建了短期交互图,并对其应用自监督学习(

方法论

本节介绍了我们的“情节记忆挖掘”(Episodic Memory Mining,简称EMM)模块的详细实现。图1展示了EMM的整体架构。它包括四个组成部分:(1) 双视图编码,通过在线编码器生成锚点q,并通过动量编码器生成正面关键k,从而实现与EMA更新后的目标进行稳健的对齐并进行排队;(2) 情节记忆库,这是一个历史关键样本的队列,它将当前的小批量数据与缓冲的关键样本混合起来形成新的数据集

实验设置

数据集 本研究使用的数据集统计信息见表1。我们主要评估了三个广泛采用的亚马逊产品类别子集:婴儿用品、服装和体育用品,这些数据集来自公开的亚马逊产品评论语料库(Ni等人,2019)。每个语料库被视为用户和商品之间的隐式反馈二分图,其中观察到的交互表示正面反馈,所有未观察到的配对在评估时被视为候选项。为了确保可比性,我们

结论

我们提出了一种即插即用的对比推荐模块,该模块完全在采样和损失层运行,结合了指数移动平均(EMA)候选记忆、Top-K硬负面样本挖掘以及少量随机样本,从而在不改变主干网络或前向传播过程的情况下提供强而安全的对比结果。在SGL、SimGCL、LightGCL、NCL和DCCF等标准基准测试中,该模块一致地提升了Top-K排名

未引用文献

缺少文献引用 图8

CRediT作者贡献声明

孟志生:概念化、形式分析、研究设计、方法论、项目管理、软件开发、监督、验证、初稿撰写。王健:形式分析、项目管理、资源协调、监督。李磊:数据整理、形式分析、研究设计、验证。陈文霞:数据整理、研究设计、项目管理、资源协调。何江:概念化、数据整理、研究设计、项目管理。

利益冲突声明

作者声明他们没有已知的财务利益冲突或个人关系可能影响本文的研究结果。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号