SynRec：基于频率引导专家专业化的协同多领域推荐

《Knowledge-Based Systems》：SynRec: Synergistic multi-domain recommendation with frequency-guided expert specialization

　　

摘要

孤立的领域专用推荐系统通过将用户行为分割为数据孤岛，限制了跨领域的知识共享。标准的领域推荐（MDR）方法通过跨领域传输知识来解决这一问题，但它们通常依赖于通过显式共享的用户ID和重叠表示进行的实例级传输。在严格的数据隔离条件下（即用户不重叠），这些实例级方法无法适用。相反，这类场景需要结构级传输，即通过公共模型参数共享领域无关的行为模式（如时间-频率模式），而不需要用户身份关联。在这项工作中，我们将非重叠的多领域推荐建模为异构多任务联合学习问题，并引入了基于Transformer的框架SynRec，该框架利用协同专业化实现结构级传输。具体而言，通过将前馈网络重新设计为领域感知的混合专家网络，SynRec采用了具有明确角色分层的专家架构，以将共享的动态特性与领域特定的细微差别解耦。此外，它还引入了一种频率引导的路由机制，利用交互序列的时间-频率分解作为领域无关的结构锚点来自适应地选择专家，并通过专业化感知目标稳定这种分工并抑制负迁移。在涵盖六个不同非重叠领域、构成两个独立基准的数据集上进行评估，SynRec展现了稳健的泛化能力。它在所有六个领域上均优于所评估的单领域基线，并在六个领域中的五个上取得了所评估多领域方法中最强的结果，在稀疏和高度异构的设置中展现出显著优势。定性和定量分析表明，领域自适应的专业化能够自主涌现，并有助于对专家协调机制进行严格的模型内省。综合而言，这些结果将协同专业化定位为一种原则明确且高效的途径，用于在严格隔离的环境中推进多领域推荐。

引言

序列推荐系统是现代网络平台的基石，引导用户浏览电子商务、娱乐等领域中的庞大商品目录。然而，业界的一种常见做法是构建这些系统作为孤立的领域专用模型，例如为一个模型建模电影，为另一个模型建模书籍。虽然部署简单，但这种单领域范式存在根本性局限。它忽略了当同一用户跨不同领域交互时产生的丰富协同信号，从而错失提升排名质量和用户参与度的重大机会，而这直接影响用户留存和平台收入。例如，用户对科幻电影的偏好是其对科幻书籍潜在兴趣的强有力指标，但孤岛模型对此连接视而不见。

因此，核心挑战在于如何利用跨领域协同来同时改善所有领域，尤其是在身份未关联的非重叠场景中（即数据孤岛）。与允许通过共享用户嵌入进行实例级传输的重叠场景不同，非重叠场景要求进行结构级传输。用户自然表现出在不同背景下重复出现的持久结构性规律，如周期性重新参与、突发性消费模式或对质量变化的敏感性。这些并非噪声；当被显式建模时，它们成为超越特定商品ID的强大结构信号。我们的核心前提是，通过利用这些跨领域信号，原则明确的学习方法可以在个体领域数据丰富的情况下，超越领域专用优化。

标准的领域推荐方法在具有重叠用户的场景中通过隐式共享参数和表示对齐已取得了显著成功。然而，在严格数据隔离（非重叠数据孤岛）的现实场景中，依赖身份共享的传统MDR方法往往无法适用或遭受显著性能下降。因此，SynRec将非重叠的多领域推荐任务建模为具有混合专家的异构多任务学习问题，旨在通过频率引导的结构锚点传输潜在的行为模式。当将此联合学习方法应用于基于Transformer的现代序列推荐器时，出现了一个关键瓶颈。它们稳健的前馈网络本质上是领域无关的、整体的共享组件。虽然有利于通用性，但这种设计迫使所有领域共享相同的参数空间进行特征变换。在高度异构的环境中，这往往导致严重的梯度干扰，即来自不同领域动态的冲突更新在同一共享参数中竞争，导致模型收敛到次优表示。与主要关注表示对齐的先前工作不同，我们认为有效的异构多任务学习需要转向显式的角色分化：在架构上将知识保留分离为共享的通用模块和领域特定的专家模块。为此，我们定义协同专业化为一个框架，在该框架中，模型能够自主地根据用户行为的具体上下文将信息路由到适当的功能组件。

我们提出了SynRec，一个用于协同专业化的框架，它直接重新设计了这一Transformer瓶颈。不同于通用前馈网络，SynRec引入了领域感知的专家模块，并与专门的路由和优化机制相结合。该设计基于三个协同组件。首先，一种分层专家架构明确分离了共享专家与领域特定专家的角色，前者捕捉通用模式，后者处理局部细微差别。其次，一种频率引导的路由机制利用时间-频率分析智能地协调这一架构。它将用户序列分解为多尺度时间组件，利用频率感知信号作为领域无关的结构锚点来引导专家路由。这确保了稳健的协调，并使得模型能够通过共享的行为模式跨越数据孤岛。最后，一种以对比损失为核心目标的专业化感知目标，确保了这种分工在整个训练过程中保持稳定和有效。

我们的工作做出了以下贡献：

• •
  我们识别出梯度干扰是多领域学习中的一个主要挑战，并提出协同专业化来解决它。通过架构上解耦通用和专家角色，我们的统一模型在缓解负迁移的同时，持续改进了所评估的单领域基线。
• •
  我们设计了SynRec，一个具有显式角色分层的分层专家架构。与专业化感知目标相结合，它确保了稳定的知识保留以及共享和领域特定组件之间的有效协调。
• •
  我们引入了时间-频率模式作为用于专家路由的领域无关结构锚点。该机制通过识别异构用户序列中的共享行为模式来跨越数据孤岛，并支持内省式的用户建模。

本文的其余部分组织如下。我们在第2节回顾了相关工作，然后在第3节详细介绍了SynRec框架，包括其架构、路由和目标。第4节展示了我们全面的评估，包括性能比较、消融和模型内省分析。我们在第5节讨论了研究结果的启示，并在第6节得出结论。

章节摘要

相关工作

在本节中，我们对构成我们工作基础的相关文献进行了系统性的回顾。我们首先从核心领域如序列推荐和多领域学习入手，然后深入探讨混合专家等特定架构范式，最后确定了SynRec旨在解决的关键研究空白。

方法

本节详细阐述了SynRec的技术架构，如图1所示。我们首先形式化多领域推荐任务，然后介绍整体架构，最后解析其三个核心创新：分层专家系统、频率引导的路由机制和专业化感知的优化策略。

实验

为了全面评估SynRec协同多领域合作框架的有效性，我们进行了广泛的实验，旨在回答五个关键研究问题：RQ1：SynRec的协同合作效果与单领域训练相比，在个体领域性能提升方面如何？RQ2：频率引导的专家协调架构对整体协同性能的贡献是什么？RQ3：的

讨论

我们的实验结果表明，SynRec作为一个统一的协同框架，持续优于所评估的单领域基线。本节深入探讨了这些发现的启示，探索了驱动这种协同性能的机制，并讨论了工作的更广泛影响。

结论

在这项工作中，我们提出了SynRec，一个旨在克服数据孤岛的多领域序列推荐框架，将协同学习从实例级对齐转变为结构级传输。针对共享参数中梯度干扰的挑战，SynRec引入了分层FG-MoE架构，通过频率引导的路由实现显式的角色分化。我们全面的实验表明，SynRec持续优于所评估的

作者贡献声明

Zechuan Wang：撰写初稿、可视化、验证、软件、方法、调查、形式化分析、数据整理、概念化。Dong Wang：撰写审阅与编辑、指导、方法、概念化。Ming Zong：撰写审阅与编辑、指导、方法、概念化。Guogang Cao：撰写审阅与编辑、指导、方法、概念化。

利益冲突声明

作者声明以下财务利益/个人关系，可能被视为潜在的利益冲突：Dong Wang报告获得了中国国家重大科技项目的资金支持。如果有其他作者，他们声明不存在已知的可能影响本论文报告的潜在利益冲突财务利益或个人关系。

致谢

本工作得到中国国家重大科技项目（资助号2025ZD0547600）的支持。

Zechuan Wang|Dong Wang|Ming Zong|Guogang Cao