MgRec：基于多粒度意图交互的序列推荐方法

《Neurocomputing》：MgRec: Multi-granularity intent interaction based sequential recommendation method

　　张晓霞|赵宇航|黄旭东|孙海超

摘要
传统的序列推荐方法主要关注用户行为，但往往忽略了潜在的意图。本文提出了一种基于多粒度意图交互的序列推荐方法（MgRec），这是一种新颖的多粒度框架，旨在明确建模这些意图。在细粒度层面，Transformer从交互序列中捕捉特定的用户偏好；同时，在粗粒度层面，它利用知识图谱（KG）探索更广泛的项目关系，并通过神经主题模型（NTM）将这些关系提炼为抽象意图。通过动态融合这两种粒度，MgRec实现了最先进的性能（SOTA），在有效缓解流行度偏见的同时生成更准确的推荐结果。

引言
随着大数据时代的到来，推荐系统已应用于各种在线服务[1]、[2]、[3]、[4]，如电子商务、社交网络和视频平台。在推荐系统中，用户行为是由用户与项目之间的交互驱动的。因此，在许多场景中，将推荐任务建模为序列推荐问题是至关重要的。这涉及到利用用户的历史行为日志来推荐用户未来可能互动的项目。序列推荐考虑了额外的序列因素，有效地在交互序列的背景下建模用户的兴趣。

在研究的早期阶段，研究人员使用马尔可夫链来建模用户行为中的序列模式[4]、[31]。然而，由于马尔可夫链的固有局限性，基于它们的方法在处理长序列时表现不佳。随着深度神经网络的成功，研究人员开始开发基于深度神经网络的序列推荐模型。例如，GRU4Rec[26]采用了循环神经网络（RNN）来聚合所有用户历史行为的隐藏状态，标志着递归神经网络在构建具有良好性能的序列推荐方法中的首次应用。然而，GRU的序列计算性质导致并行化效率低下，并且难以捕捉长序列中的非连续依赖关系。

最近，随着Transformer[8]在各个领域的成功，序列推荐模型也开始采用自注意力机制来探索用户行为记录中的语义关系[23]、[29]、[33]。实际上，各种在线系统中的用户行为是由特定需求驱动的，这些需求可以解释为用户行为背后的意图。因此，将用户意图纳入推荐系统对于提升推荐效果至关重要。然而，现有的序列推荐模型在辨别用户行为背后的意图方面面临挑战。这种困难导致了潜在问题，如流行度偏见和冷启动问题。发现和建模用户意图是一个重大挑战，主要是因为所有反馈都是隐性的，用户意图并不容易直观观察到。这种固有的难度使得在推荐系统的背景下直接观察和理解用户意图变得具有挑战性。

在早期，用户交互过的项目的嵌入通常被视为用户意图的表示。毫无疑问，用户交互过的项目直接反映了他们的意图[11]、[12]、[13]。然而，这代表了意图的低层次、粗粒度的解释，无法全面概述用户需求。因此，这类算法往往放大了最近意图的重要性。在最近的研究中，研究人员开始提出更明确的方法来表示用户意图。这包括基于聚类、对比学习和利用基于项目的多模态数据[16]、[25]、[37]的方法。在某些领域，例如搜索中，意图也是根据专家知识明确定义的，并用作监督学习的标记数据[5]、[6]。然而，这对推荐系统来说是一个挑战，因为用户意图往往是多方面的和潜在的。一些推荐系统研究采用了类似的做法[7]，但这需要大量的人力资源进行数据注释。

尽管许多研究试图表征用户意图，但据我们所知，这些研究往往忽略了一个关键方面：人类是如何推理意图的。考虑一个简单的用户交互历史示例：{牛奶、面包、三明治}。作为人类，我们可以迅速推断用户可能正在准备早餐的食材，因为这种组合在我们的认知理解中是一个常见的早餐组合。我们可以从项目之间的关系直观地推断出用户的意图。然而，对于模型来说，从隐式反馈中学习复杂的项目间关系以推断精确的用户意图是具有挑战性的。模型很难像人类那样理解项目之间的细微关系，这使得仅从隐式反馈中准确推断用户意图变得困难。

因此，通过理解项目之间的关系来建模用户意图至关重要。正如我们的示例所示，一旦模型掌握了项目之间的内在关系，从用户的行为中推断意图就变得容易了。我们的目标是探索交互项目与语义相关项目之间的关联，因为这些关联决定了用户的后续选择。为了实现这一目标，我们通过结合知识图谱作为补充信息来提供项目间关系。然而，我们仍然面临三个挑战。首先，知识图谱引入的项目间关系复杂，虽然扩展了模型进行探索性推荐的能力，但也带来了大量的噪声，可能会降低推荐的准确性。因此，在这些方面之间取得平衡至关重要。其次，即使两个项目在语义上相关，它们在其他语义方面也可能存在显著差异。例如，考虑用户的交互{iPhone、iPad、Mac}，尽管所有项目都是电子产品，但用户可能更偏爱苹果品牌。在这种情况下，尽管三星Galaxy也是一种知名的电子产品，推荐Galaxy产品可能对交易帮助不大。因此，在语义层面上确定用户偏好仍然具有挑战性。换句话说，在有效表达用户意图方面仍然存在挑战。第三，知识图谱引入的项目间关系是客观和通用的。即使对于同一个项目，不同用户的交互也可能由不同的意图驱动。因此，为不同用户分配个性化的意图表示至关重要。

为了克服上述挑战，我们提出了一种改进的多粒度序列推荐方法，称为MgRec。MgRec旨在通过利用与交互项目相关的丰富知识表示来建模用户的粗粒度意图。此外，它还设计为能够与其他序列推荐模型无缝集成。为了全面捕捉意图偏好，我们基于用户的历史交互进行了项目粒度偏好建模和项目集粒度意图建模。更具体地说，我们使用Transformer编码器作为基本的序列编码器来识别明确的用户偏好，并在项目粒度上捕捉这些偏好的序列转换模式。在项目集粒度上，我们首先利用知识图谱的高阶连通性构建知识丰富的项集。接下来，我们设计了一个关系感知的聚合模块来明确建模当前项目与语义相关项目之间的相关性。随后，我们使用神经主题模型（NTM）从所有关联中提取核心相关性，这些相关性表示为主题。这些主题作为意图的最终表示。之后，我们通过计算意图表示与用户嵌入之间的注意力得分来实现个性化用户意图。最后，我们通过使用门控网络自适应地融合项目粒度偏好表示和项目集粒度意图表示来推荐项目。总体而言，MgRec框架通过结合知识图谱、利用项目粒度兴趣、项目集粒度意图和个性化意图表示，有效地解决了建模用户意图的挑战，最终提高了推荐性能。

总结
我们的贡献可以概括如下：
1. 我们提出了一种有效的意图建模方法，通过知识图谱将影响用户决策的因素纳入模型，从这些关系中提取用户的行为意图。
2. 我们提出了一个序列推荐框架，统一了用户的细粒度偏好和粗粒度意图，其中基本的序列推荐器可以轻松替换以适应不同的场景。
3. 我们通过在三个真实世界数据集上进行实验，证明了我们的模型在多种评估指标上优于现有方法。

本文的其余部分组织如下。第2节包含文献综述。第3节包含问题阐述。第4节包含方法论。第5节包含结果。第6节包含结论和未来工作。

序列推荐
在本节中，我们将按时间顺序和技术发展来介绍与序列推荐相关的研究。

用户序列交互行为为捕捉用户偏好提供了重要的额外信息。然而，传统方法如协同过滤[1]和矩阵分解[2]往往忽视了这些信息，而侧重于建模用户的静态偏好。近年来，研究人员已经转向...

问题阐述
在本节中，我们首先介绍用户的历史交互序列和知识图谱的展示。随后，我们概述了我们的任务。

提出的方法
在本节中，我们介绍了一种新颖的知识增强方法，用于序列推荐系统中的意图发现，旨在提供更好的意图表示。我们的方法称为基于多粒度意图交互的序列推荐系统，简称MgRec（见图1），它利用知识图谱和用户交互历史中的丰富先验知识来识别用户意图，从而提高推荐性能。

实验
在本节中，我们使用真实世界数据集对我们的方法进行评估。我们进行了一系列实验来回答以下研究问题（Qs）：
1. MgRec是否优于现有的最先进模型（SOTA）？
2. 所引入的模块对MgRec都有同样的作用吗？具体来说包括：
• 语义关联树；
• 分层消息聚合器；
• 个性化意图模块。
3. 意图的引入是否产生了额外的优势效果？
4. 超参数是否影响模型的性能？

结论
本文研究了序列推荐中的用户行为意图问题，这是一个具有挑战性的任务，因为用户的反馈是隐性的。本文提出了一种名为MgRec的新方法来建模用户行为意图，MgRec通过项目之间的相互关联提取核心语义，从而指定用户行为意图。值得注意的是，与现有架构的增量改进不同，MgRec引入了概念上的新颖进展。

未引用的参考文献
[9]、[14]、[15]、[17]、[18]、[22]、[30]、[38]、[39]、[40]

CRediT作者贡献声明
张晓霞：撰写——审阅与编辑、方法论、调查、数据整理。
赵宇航：资源、方法论、资金获取。
黄旭东：撰写——原始草稿、方法论、形式分析、数据整理。
孙海超：可视化、验证。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢
本工作得到了国家自然科学基金（62221005、62136002、62376045）、重庆市自然科学基金（CSTB2023NSCQ-LZX0006）以及出国留学和回国创新项目（编号cx2023097）的支持。

张晓霞于2018年在华北电力大学获得计算机科学博士学位。2016年9月至2017年9月，她是劳伦斯伯克利国家实验室（LBNL）的访问学生。她目前的研究兴趣包括知识蒸馏、多源时间序列数据预测、药物设计的人工智能、群体智能、大语言模型蒸馏、偏微分方程的发现和数值解。