基于相似性感知的零样本跨域序列推荐泛化框架

《Neurocomputing》：Similarity-aware generalization framework for zero-shot cross-domain sequential recommendation

　　潘志豪|党玉卓|张欣|潘志强|邵泰华|蔡飞
中国长沙，410073，国防科技大学信息系统工程国家重点实验室

摘要
零样本跨域序列推荐旨在将来自交互丰富的源域的序列知识转移到没有目标域交互数据的未知目标域中。近期基于大型语言模型（LLM）的方法通过利用物品层面的语义信息提升了这一领域的性能。然而，现有的对齐策略通常会对所有物品对施加统一的跨域吸引力。这种非选择性对齐可能会扭曲潜在的语义结构，削弱领域特异性区分能力，尤其是当语义关联较弱的物品也被强制对齐时。为解决这一问题，我们提出了SAGERec，一种面向零样本跨域序列推荐的基于相似性感知的泛化框架。SAGERec主要由两个模块组成：类似性感知域间紧凑性模块，用于选择性地对语义兼容的跨域物品对进行对齐；以及领域自适应泛化模块，能够根据源域与目标域之间的差异动态调整语义正则化的强度。通过这种方式，该框架能够在减少噪声跨域吸引力的同时实现可靠的知识迁移。在多个真实世界数据集及典型的序列推荐模型上的广泛实验表明，SAGERec在各类序列推荐模型中均能持续提升推荐性能，并在零样本迁移场景中取得最佳整体效果。进一步分析显示，与现有的基于语义和泛化的基线方法相比，SAGERec能够实现更有结构的跨域对齐，并在效率与效果之间取得更好的平衡。

引言
序列推荐旨在通过历史交互数据建模用户的动态偏好，已成为现代推荐系统中的核心组成部分[1][2]。然而，大多数现有的序列推荐系统都是基于这样一个假设开发的：即在特定领域内存在足够的交互数据用于模型的训练和优化[3][4][5][6]。但在实际应用中，这一假设往往不成立。例如，当在交互丰富的领域上训练好的模型被应用于新出现的服务或隐私限制较多的平台时，目标域的交互数据可能非常稀少甚至完全不存在。因此，一个重要的挑战是如何有效地将高资源源域的知识迁移过来，以支持低资源目标域的推荐任务[7]。

跨域序列推荐（CDSR）通过跨领域传递偏好信号来解决上述问题。不过，大多数现有的CDSR方法仍然依赖于重叠的用户或物品，或者需要目标域的交互数据来进行模型优化[7]。这些要求限制了它们在现实部署场景中的应用，这就催生了一个更具挑战性的场景——零样本跨域序列推荐（ZCDSR）。在这种场景下，无需使用任何目标域的交互数据，直接将已在交互丰富的源域上训练好的模型转移到之前从未见过的目标域，且仅能利用物品层面的内容进行迁移[8]。对于序列推荐而言，这一目标尤其具有挑战性，因为模型必须在存在显著语义和行为差异的领域之间进行泛化，同时还要保留从源域学到的序列依赖模式。

自然地，物品层面的内容就成了ZCDSR中可迁移信号的关键来源。尽管近期的内容增强型推荐研究已经利用辅助物品信号来更好地建模用户偏好[9][10]，但这些信号仍需转化为可迁移的表示形式，才能实现不同领域之间的衔接。大型语言模型（LLM）的进步为这一目标提供了更直接的语义路径，因为它们通过大规模预训练获得了强大的语义理解能力和泛化能力[11][12]。通过将物品的标题、描述和属性等元数据编码为密集的语义表示，LLM使得即使在没有用户或物品重叠的情况下也能在各个领域之间构建共享的语义空间。这一能力在零样本场景中尤为有用，因为在训练阶段无法获得目标域的交互数据，而部署时却可以获取物品内容。受此优势激励，近期的一些研究开始探索基于LLM的零样本推荐方法，并已证明预训练得到的语义表示能够显著提升向未知领域的迁移能力[8][13][14]。

然而，现有的语义泛化方法通常以一种僵化且统一的方式处理跨域迁移，主要体现在两个方面。在物品层面，它们在源域与目标域的语义空间之间施加全局对齐，而没有考虑不同物品对之间语义兼容程度的差异。这种非选择性对齐忽略了跨域关系中的细粒度结构——具体来说，高度兼容的物品对能够提供可靠的迁移信号，而关联较弱的物品对则可能引入语义噪声，导致负面迁移效应。在领域层面，现有方法始终采用固定的正则化策略，即假设在不同目标域之间，推荐精度与泛化能力之间的权衡是恒定的。这种“一刀切”的策略未能考虑到由于目录结构、内容模态和语言风格差异所造成的巨大语义差距。这些局限性凸显出迫切需要一种新的ZCDSR框架。与其依靠无差别的对齐，不如设计一种能够根据物品层面和领域层面的具体差异动态调整迁移强度的有效解决方案。

为应对上述挑战，我们提出了SAGERec，一种面向零样本跨域序列推荐的基于相似性感知的泛化框架，它系统地解决了现有方法在物品层面和领域层面存在的局限。首先，为解决物品层面的非选择性对齐问题，我们设计了一种基于相似性感知的语义泛化目标。在该目标中，类似性感知域间紧凑性模块会根据LLM嵌入空间中的语义亲和度阈值，选择性地对语义兼容的跨域物品对进行对齐；而域内多样性保持模块则可防止过度压缩，保留每个领域内的细粒度物品区分能力。其次，为解决领域层面针对异构领域对采用静态正则化的问题，我们引入了领域自适应泛化机制。该机制能够根据源域与目标域之间的估计差异动态调整语义正则化的强度，从而在语义相近的领域之间实现更强的迁移，而对语义差异较大的领域则采取更为保守的对齐方式。最终，SAGERec提供了一种即插即用的解决方案，无需修改现有基于编码器的语义序列推荐系统的架构，即可将其整合进去。在三个真实世界数据集上的广泛实验表明，SAGERec在零样本迁移场景中的性能始终优于基于语义和泛化的基线方法。

本研究的主要贡献如下：
• 我们提出了一种名为SAGERec的面向ZCDSR的基于相似性感知的泛化框架，通过将相似性感知的语义正则化纳入迁移过程，提升了基于LLM的语义序列迁移效率。
• 我们设计了类似性感知域间紧凑性机制，用以解决非选择性跨域对齐问题，通过阻止语义关联较弱的物品过度对齐，从而减少噪声干扰。
• 我们引入了领域自适应泛化机制，解决了针对异构源-目标领域对采用静态正则化的局限性，使迁移强度能够根据不同领域之间的语义差异程度进行动态调整。
• 在三个真实世界领域及典型序列推荐模型上的大量实验验证了SAGERec的有效性、鲁棒性和高效性，同时还对其敏感性、表示结构、编码器架构以及特定物品对案例进行了进一步分析。

本文的其余结构如下：第2节回顾相关研究，第3节明确问题定义，第4节详细介绍所提出的SAGERec框架，第5节汇报实验结果与分析，最后第6节总结全文并探讨未来研究方向。

片段摘录
跨域序列推荐
跨域序列推荐（CDSR）旨在通过跨领域传递序列偏好信号来提升推荐质量，已被广泛视为解决数据稀疏和冷启动问题的有效方法。早期的方法如-Net[15]和PSJNet[16]主要依赖于领域间的显式信息共享，而后来的方法如C2DSR[17]则进一步结合图建模和对比学习，以捕捉更复杂的跨域依赖关系。

问题定义
我们研究的是零样本跨域序列推荐（ZCDSR），即模型在源域上训练完成后，被直接转移到之前从未见过的目标域，且无需使用任何目标域的交互数据来进行参数优化。其核心挑战在于，如何从交互丰富的源域中学习可迁移的序列知识，并将其泛化到仅在训练期间有源域交互数据可供使用的目标域。我们将源域记为……

方法
在第3节定义的零样本协议下，目标是将从交互丰富的源域中学到的序列知识转移到目标域，且无需使用任何目标域的交互数据来进行优化。在我们的研究中，只有源域的交互序列会用于监督学习，而对于包括目标域和辅助域在内的非源域，仅能获取物品层面的语义元数据，这些元数据会被用于无需交互的数据驱动语义处理。

实验
在本节中，我们开展了全面的实验来评估所提出的SAGERec框架。实验设计旨在回答以下研究问题：
• RQ1：与强大的基于语义和泛化的基线方法相比，SAGERec在零样本跨域序列推荐任务中的表现如何？
• RQ2：类似性感知域间紧凑性和领域自适应泛化分别起到了怎样的作用？
• RQ3：SAGERec对其关键超参数的敏感度如何？

结论
在本文中，我们从迁移异质性的角度研究了零样本跨域序列推荐问题。我们发现，现有的语义迁移方法存在一个关键缺陷，即它们倾向于施加过于统一的跨域对齐方式，这可能会引入噪声对应的关联，进而削弱领域内的结构。为解决这一问题，我们提出了SAGERec，这是一种基于相似性感知的泛化框架，通过两个组件来提升零样本迁移的性能：……

CRediT作者贡献声明
潘志豪：撰写——初稿、验证、方法论、概念设计。党玉卓：验证、方法论、形式化分析。张欣：形式化分析、概念设计。潘志强：项目管理、调研。邵泰华：撰写——审稿与编辑、调研、资金申请。蔡飞：监督、资源协调。

利益冲突声明
作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢
作者感谢国防科技大学系统工程学院COSTA：复杂系统优化团队的支持。此外，本研究还得到了河南省自然科学基金的支持，项目编号为252300420989。

潘志豪是国防科技大学的硕士生，研究兴趣包括零样本学习以及基于LLM的序列推荐系统。他本科毕业于国防科技大学，专业为信息系统。