通过大语言模型增强基于会话的推荐：一种反事实方法

《Knowledge-Based Systems》：Enhancing session-based recommendation via large language models: A counterfactual method

　　

• •
  我们为基于大语言模型增强的会话式推荐构建了因果图，并将语言偏置识别为相对于协同会话信号而言对文本语义的过度依赖。
• •
  我们提出了一种双视图图学习模块，用于建模局部和全局会话依赖模式。
• •
  我们提出了CauLRec，该模型利用反事实推理来估计与语言相关的直接和间接效应，从而缓解语言偏置。
• •
  我们在四个真实世界的会话式推荐数据集上进行了大量实验，与最先进模型相比，性能始终优越，证明了所提出的CauLRec模型的有效性。

引言

推荐系统（RSs）[1], [2] 在信息过滤和个性化服务中发挥着关键作用，其中协同过滤（CF）模型通过分析用户与物品之间的交互模式来推断用户偏好和物品相关性。除了用户-物品交互之外的辅助知识，通常称为侧信息，可以提供交互ID所无法编码的物品语义。例如，两个出现在相似点击序列中的产品可能在类别、品牌、价格范围或功能描述上存在差异；这些字段有助于区分每个物品可能满足的需求。纳入此类信息使推荐系统能够在上下文中表示文本属性之间的关系。基于大语言模型（LLM）的推荐系统可以从文本侧信息中提取语义和上下文关系，并将其与协同表示相结合[3]。这种结合已成为推荐研究的一个有前景的方向。

主流的基于LLM的推荐方法[4] 要么使用令牌级泛化能力[5], [6], [7], [8]，利用嵌入级推理[9], [10], [11]，或者直接将LLM视为推荐器[12], [13], [14]。这些基于LLM的模型[5], [9], [12] 捕获文本特征和上下文关系，而典型的推荐方法[1] 通过协同过滤[15], [16] 来建模交互模式。我们使用文本表示和行为表示分别表示相应的模型输出。将这两种表示类型结合起来，可以通过将物品语义与协同交互模式相关联来改进推荐效果[3]。然而，如果未能充分利用协同证据来约束语言推导的语义，可能会过度强调物品描述的措辞，从而引入偏见并影响最终排名[4], [8], [11], [14], [17], [18]。

考虑一个包含多次点击平价跑鞋的会话。模型可能会将一双高端跑鞋排名很高，因为其描述与已点击的物品共享了与体育相关的短语，即使该会话的模式更倾向于较低的价格区间。这个例子说明了强语义匹配如何与交互序列中反映的其他偏好信号产生冲突。

我们将相对于协同信号而言对文本对齐的系统性过度强调称为语言偏置。在本文中，语言偏置指的是当模型过度依赖语义相似性时，预测物品分布中可能发生的变化。这种变化可能产生在文本上与会话相关但在其他行为线索上不一致的推荐结果。该术语与随机交互噪声和曝光偏置不同，因为它关注的是模型如何整合语言表示，而不是被污染的观察结果或物品的差异化可见性。

为了分析语言偏置，我们将基于LLM增强的推荐建模为因果图，并利用因果推理概念[17], [18], [19] 来区分与语言表示相关的效应和与协同偏好匹配相关的效应。具体而言，从因果表达的角度出发，我们提取了基于LLM的会话式推荐公式中的关键因果因素，以分析它们之间的相互因果影响；这些因素包括会话ID、物品ID、文本描述、LLM推导的语言表示、会话-物品偏好匹配、用户的语言注意以及交互结果。我们隔离了从语言表示到交互预测的路径，以便将其贡献与协同路径分开进行分析。

为了量化不同组件的因果效应并精确消除语言偏置与交互之间的虚假依赖，需要排除语言表示的不期望的直接影响力。一种直观的解决方案是切断物品语言表示与最终交互之间的关系。然而，这种方法难以实施，因为文本表示直接提取自物品特征，并与物品属性紧密相关；因此，进行直接对比实验具有挑战性。为了模拟无偏设置，本文采用反事实推理。具体而言，我们估计总效应（TE）来衡量现实世界中用户-物品交互的整体影响，同时计算自然直接效应（NDE）用于反事实推理设置中的解缠效应，其中我们保持直接变量的值不变，并对间接路径中的变量进行干预。因此，从总体TE中减去NDE项得出总间接效应（TIE），这为基于LLM增强的推荐场景提供了无偏的偏好推断，旨在回答以下科学问题：给定一组具有相同文本表示的物品，用户会选择哪一件？

为了回答这一问题，我们开发了一种反事实推理架构，并提出了Causal LLM-based Recommendation模型，即CauLRec，该模型在整合语言表示的同时，减少了与语言偏置相关的估计直接效应。以下是主要贡献：

• •
  我们定义了基于LLM增强的会话式推荐中的语言偏置，并引入了一种基于反事实推荐架构的去偏置方案。
• •
  我们提出了CauLRec，该模型估计与语言表示相关的直接和间接效应，并在推理过程中减少估计的直接语言效应。
• •
  在四个真实世界的SBR数据集上，CauLRec 在报告的 $Recall@K$ 和 $NDCG@K$ 指标上优于评估的基线模型。

章节摘要

基础知识

本节主要介绍与本研究和问题公式化相关的基础知识。

方法论

本节介绍我们 CauLRec 模型的详细设计（图3）。我们首先从因果推理的角度呈现整体基于LLM增强的推荐模型（如第3.1节所示）。后续章节按照模型流程呈现详细的架构设计。具体而言，在第3.2节中，我们介绍语言知识吸收机制。在第3.3节中，我们通过多视图图神经网络获取会话表示，其中包含全局视图和局部

实验

在本节中，我们在四个真实世界数据集上进行了大量实验，以回答以下四个研究问题（RQ）：

• •
  RQ1. 我们的 CauLRec 模型与最先进模型相比表现如何？
• •
  RQ2. 关键组件如何对最终性能作出贡献？
• •
  RQ3. 关键参数的设置如何影响推荐性能？
• •
  RQ4. 关键实现方式如何影响模型性能？

我们首先介绍所进行实验的实验设置，

相关工作

在本节中，我们回顾了两类相关文献：(i) 基于LLM的推荐，和 (ii) 因果推荐系统。

结论

在本文中，我们为基于LLM增强的SBR提出了 CauLRec。该模型结合了双视图图学习和基于LLM推导的物品表示，并利用反事实推理架构来区分直接和间接的语言相关效应。在四个评估的真实世界数据集上，CauLRec 的 $Recall@K$ 和 $NDCG@K$ 指标均高于评估的基线模型，支持了在报告的SBR设置下该设计的有效性。这些结果并未确立在……

CRediT作者贡献声明

吴兴隆：撰写——原稿，软件，方法论，调查，概念化。殷胜：方法论，概念化。太宇：撰写——审阅与编辑，概念化。何辉：撰写——审阅与编辑，监督。张伟哲：撰写——审阅与编辑，监督，项目管理。方宪进：撰写——审阅与编辑，调查。

利益冲突声明

作者声明，他们没有已知的竞争性经济利益或个人关系可能会影响本文报告的工作。

致谢

本工作得到了安徽理工大学高层次人才科学研究基金（编号：2025yjrc0094）的支持。

吴兴隆|殷胜|太宇|何辉|张伟哲|方宪进