基于BERT模型和动量对比学习的序列推荐方法及其实现

《Data & Knowledge Engineering》:A BERT model and momentum contrastive learning based sequential recommendation method and its implementation

【字体: 大 中 小 】 时间:2026年02月11日 来源:Data & Knowledge Engineering 3.9

编辑推荐:

  辛明君|何泽|肖志军 上海大学,中国上海200444 摘要 序列推荐任务是推荐系统研究中的重要方向。以往的序列推荐研究主要关注用户-物品交互序列,并从中挖掘协作信息。尽管这些研究已取得一定成果,但现有研究往往忽视其他丰富信息,如物品描述、标签、用户评价等。实际上,这

  辛明君|何泽|肖志军
上海大学,中国上海200444

摘要
序列推荐任务是推荐系统研究中的重要方向。以往的序列推荐研究主要关注用户-物品交互序列,并从中挖掘协作信息。尽管这些研究已取得一定成果,但现有研究往往忽视其他丰富信息,如物品描述、标签、用户评价等。实际上,这些丰富信息有助于学习物品的嵌入表示并建模用户偏好。为解决这一问题,我们提出了一种基于BERT模型和动量对比学习的序列推荐方法,命名为BertMoSRec。BERT模块利用BERT模型结合物品描述、标签和用户评价来学习物品的嵌入表示,再通过嵌入平滑任务获得各向同性的语义表示。在动量对比学习模块中,我们采用多种数据增强方法维护大量负样本队列,用于比较和学习用户-物品交互序列,学习序列的嵌入表示,捕捉用户偏好信息,同时降低计算资源需求。在Amazon数据集的多个子集上进行的广泛实验证明了所提方法的有效性。

引言
近年来,推荐系统被广泛应用于互联网平台,为用户推荐可能感兴趣的物品,如淘宝、Amazon等。序列推荐是推荐系统研究中的重要方向,它根据用户与物品之前的交互序列,推荐用户下一阶段可能感兴趣的物品。许多早期方法使用了马尔可夫链,例如FPMC[1]。随着深度学习的发展,基于RNN的方法也被引入序列推荐领域,如GRU4Rec[2]。近期则有研究采用Transformer方法,如SASRec[4]。这些方法在序列推荐任务上取得了良好效果。在以往的序列推荐研究中,研究人员主要关注用户-物品交互序列并从中获取协作信号,而较少重视其他丰富信息。在序列推荐中,物品的标签和描述等信息可用于增强物品的嵌入表示。同时,用户可能会对自己交互过的物品留下评论,这是一种非常重要的丰富信息,包含大量用户偏好信息和物品描述。这类丰富信息通常以文本形式存在。过去,没有有效的处理方法,且需要大量计算资源。然而,随着以GPT[5]和BERT[6]为代表的大语言模型的成功,基于大语言模型的推荐系统越来越受到研究人员的关注。但现有的基于大语言模型的序列推荐研究也存在一些问题。首先,由于大语言模型的特性,虽然可以直接使用预训练的大语言模型处理各种推荐任务,但在单一的序列推荐任务上却无法取得良好效果。其次,在进行推荐时,大语言模型更多依赖其自身学习的世界知识以及数据中的文本语义,而无法学习用户与物品之间的协作信息,这会影响其推荐效果。最后,大语言模型的训练和使用计算成本过高,使得基于它的序列推荐系统在召回或粗略排序方面效率较低。

对比学习是深度学习中常用的方法。何等人提出了无监督动量对比学习方法MoCo[7],在计算机视觉领域取得了良好效果。由于BertMoSRec利用BERT模型结合历史交互的丰富信息来学习物品的嵌入表示,且交互序列的嵌入表示包含更丰富的信息,因此该方法能够挖掘更深层次的用户偏好信息。本文通过构建无监督动量对比学习机制,维护大量负样本序列,以挖掘更深层次的用户偏好信息。

基于以上讨论,我们提出了一种基于BERT模型和动量对比学习的序列推荐方法,命名为BertMoSRec。在BERT模块中,BertMoSRec选用BERT-base预训练模型,并设计嵌入平滑策略,结合物品的标签和描述来学习更丰富的物品嵌入表示。动量对比学习模块则维护一个大型样本词典,用于对用户-物品交互序列进行对比学习,从而挖掘更深层次的用户偏好信息。本文还采用Transformer作为模型核心,对用户-物品交互序列进行建模,输出序列的嵌入表示,并预测下一个可能的交互物品。

我们的主要贡献如下:
(1) 我们提出了一种将轻量级BERT模块与动量对比学习相结合的新方法,通过协同作用,同时提升物品的文本语义表示和序列的协作信号表示。
(2) 我们设计了基于词删除增强的嵌入平滑策略,有效缓解BERT嵌入的各向异性问题,使其更适用于序列推荐,且不会打乱物品顺序。
(3) 我们引入了具有定制化增强功能(掩码、重排、裁剪)的序列感知型动量对比学习模块。与依赖简单批量负样本的现有方法不同,我们的方法能够维护大量序列级负样本,从而更有效地学习用户偏好。
(4) 在Amazon数据集的多个子集上进行的广泛实验验证了BertMoSRec的有效性。

片段摘录
用于推荐的LLM
近年来,大语言模型在自然语言处理领域取得了显著成果。许多研究通过训练更大规模的预训练语言模型来提升下游任务的性能,展现出在解决复杂任务方面的惊人能力。基于大语言模型的推荐研究也逐渐引起研究人员的关注。耿等人提出了VIP5[8],用于完成多种不同的推荐任务。

问题定义
假设我们有一批用户U和若干物品V,其中u∈U表示一名用户,v∈V表示一件物品,|U|表示用户数量,|V|表示物品数量。用户与一系列物品的交互按时间顺序表示为序列S={(v1,t1),(vn,tn),…,(vN,tN)},N表示序列的最大长度,vn表示用户在时间tn时交互的物品。为方便起见,我们用Sj:k表示序列Sj:k={vj,…,vk},其中1≤j≤k≤n。

模型
为充分利用用户-物品交互序列之外的丰富信息,BertMoSRec利用BERT模块处理这些文本类型的丰富信息,生成物品的嵌入表示。同时,通过动量对比学习学习用户-物品交互序列的不同视角,挖掘深层用户交互偏好信息,提升模型的鲁棒性和泛化能力。最后,再利用Transformer模型……

数据集
为验证所提模型的有效性,我们在三个大规模Amazon数据集(美容、运动和玩具类)上进行了大量离线实验。Amazon数据集[35]是推荐系统研究中的基准数据集,包含用户购买记录、物品标签、描述以及用户评价等全面信息。如表2所示,该数据集具有真实世界推荐场景的典型特征,尤其是高稀疏性问题。

结论
本文提出了一种基于BERT模型和动量对比学习的序列推荐方法,命名为BertMoSRec。该模型利用BERT模型结合序列推荐任务中的丰富文本信息,增强物品的嵌入表示,同时提升用户-物品交互序列的嵌入表示。此外,还设计了嵌入平滑策略来调整BERT模型生成的嵌入,从而解决……

CRediT作者贡献声明
辛明君:写作——审阅与编辑,写作——初稿,指导。何泽:写作——审阅与编辑,写作——初稿,方法设计。肖志军:验证工作。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述工作。

致谢
本研究得到了国家自然科学基金的资助,项目编号为61074135、61303096和71101086。辛明君博士是上海大学计算机工程与科学学院的教授,他是IEEE会员和CCF高级会员。他的研究方向包括Web服务计算、决策支持系统以及信息系统安全。自2001年获得博士学位以来,他已在国际期刊、会议及中文核心期刊上发表超过50篇学术论文。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号