通过协同关系重建和高斯扰动实现长尾多模态推荐

《Neurocomputing》：Long-tail multimodal recommendation via collaborative relationship reconstruction and Gaussian perturbation

　　

**摘要**

多模态推荐系统通过将用户行为与图像和文本等辅助信息相结合，在一定程度上缓解了数据稀疏和冷启动问题。然而，它们在长尾场景中仍面临重大挑战。具体来说，长尾商品由于交互稀疏，往往无法获得足够的协同信号。此外，用户-商品的协同表示学习容易受到交互噪声的影响，而多模态语义信息可能与用户的真实协同偏好不一致。这些因素共同阻碍了长尾多模态推荐性能的进一步提升。为应对这些挑战，我们提出了一种基于协同关系重建和高斯扰动的长尾多模态推荐方法（CRGP）。具体而言，CRGP首先引入了一种语义引导的长尾协同关系重建机制，该机制利用语义相似度作为线索选择头部锚点，并将头部商品的协同行为信息迁移到长尾商品中，从而为长尾商品补充可用的协同信号。在此基础上，我们设计了一个用于协同表示的高斯扰动增强模块，该模块能够自适应地调整不同样本和特征维度上的扰动尺度，以提高表示的鲁棒性和泛化能力。此外，我们设计了语义校准蒸馏损失，将融合多模态表示中编码的协同偏好信息迁移到各个模态特定的表示空间，从而增强模态表示与协同偏好之间的一致性。通过这种方式，CRGP在一个统一框架内联合建模协同关系重建、鲁棒表示学习和语义一致性约束，共同提升了长尾推荐性能。在三个公开的Amazon数据集上的实验结果表明，CRGP在整体推荐性能、长尾商品建模能力和鲁棒性方面均持续优于所评估的代表性基线方法，在Recall@20指标上相比最强基线方法取得了高达4.04%的提升。

**引言**

随着多媒体内容在电子商务、社交平台和信息服务中的广泛应用，推荐系统[2]、[30]、[56]已逐渐从早期仅依赖协同过滤的方法演变为整合文本和图像等辅助信息的多模态推荐系统（MMRS）[1]、[17]。通过利用丰富的语义内容，多模态推荐能够有效缓解交互稀疏和冷启动等问题，从而提升用户偏好建模的准确性和鲁棒性。因此，多模态推荐已成为推荐领域的重要研究方向。近年来，多模态推荐研究取得了显著进展，从以VBPR [6]为代表的浅层特征融合方法，到以MGCN [43]为代表的图结构建模方法，再到以BM3 [55]为代表的自监督表示学习方法，不断增强对跨模态语义信息和用户偏好的建模。

然而，在真实推荐场景中，用户-商品交互通常呈现显著的长尾分布[15]、[24]：少数头部商品积累了大量交互记录，而大多数长尾商品获得的交互反馈极少甚至没有。在这种背景下，尽管现有的多模态推荐方法可以利用内容信息来补充商品表示，但它们仍面临一个更根本的问题：当长尾商品缺乏足够的交互监督且可用的模态线索并不完全可靠时，如何利用头部商品更丰富的交互信息来为长尾商品补充可用的协同信号仍然具有挑战性。其难点不仅在于长尾商品的交互稀少，还在于长尾区域的局部协同关系通常较为稀疏，难以直接支持高质量的表示传播。与此同时，现有的商品-商品图构建方法[31]、[50]、[52]，无论是基于特征相似度、行为共现还是两者的结合，在长尾区域都面临稳定性问题：前者倾向于将语义相似但协同偏好不一致的商品拉近，而后者则受限于长尾商品稀疏的交互和不足的共现信号，难以形成稳定的局部协同关系。为了解决这一问题，现有方法[15]、[20]、[48]主要探索了两个方向。一方面，通过挖掘潜在邻居或引入多模态语义连接来增强长尾商品的图结构。另一方面，利用头部商品更丰富的反馈信息来促进从头部商品到长尾商品的知识迁移。尽管这些方法可以通过图连通性增强或知识迁移来改善长尾商品的表示，但现有基于多模态图的推荐工作尚未充分探索如何利用多模态语义关系来选择与目标长尾商品相关的头部锚点，并在构建商品图之前将它们的协同行为信息纳入目标商品的行为表示中。基于此，我们关注在商品图构建之前，在行为表示层面增强长尾商品的局部协同关系，从而提升所构建商品图的结构质量。

此外，在长尾场景中，用户-商品的协同表示学习更容易受到交互噪声的影响。在实际推荐过程中，误点击、偶然浏览和短期兴趣波动等因素可能会在用户-商品交互中引入不稳定甚至误导性的协同信号[35]，从而削弱基于图传播的表示学习的有效性。然而，现有的增强方法[42]、[49]大多通过随机扰动或生成模型[10]、[13]来扩展训练视图。虽然这些方法可以提高模型的泛化能力，但它们很少明确刻画不同样本和特征维度上的噪声敏感度差异，因此其在稀疏噪声场景中的鲁棒性仍然有限。此外，虽然多模态语义信息为长尾商品提供了补充语义，但多模态语义信息与协同偏好之间的固有偏差[18]在长尾场景中会被进一步放大。具体来说，头部商品拥有丰富的交互信号，使得协同偏好能够有效校准内容语义；而长尾商品的交互极其稀疏，其表示学习更容易被模态特定语义所主导，导致其多模态表示与协同偏好之间存在不一致。

为应对上述挑战，我们提出了一种基于协同关系重建和高斯扰动的长尾多模态推荐方法（CRGP），该方法在三个层面——关系、表示和语义——上解决了长尾推荐的关键挑战。在关系层面，采用语义引导的长尾协同关系重建机制来为长尾商品补充协同信号。在表示层面，引入维度自适应的高斯扰动来提高协同表示的鲁棒性。在语义层面，设计了语义校准蒸馏损失来增强模态特定表示与协同偏好之间的一致性。这些组件共同构成了一个从关系重建和表示增强到语义校准的渐进式建模流程。

具体而言，本文的主要贡献总结如下：

（1）我们提出了CRGP框架，通过协同关系重建、鲁棒表示学习和语义一致性约束三个层面的集成建模，解决了长尾多模态推荐中局部协同关系不足、协同表示易受噪声干扰以及多模态语义与协同偏好不一致等问题。

（2）我们设计了一种语义引导的长尾协同关系重建机制。该机制利用语义相似度作为选择头部锚点的线索，并通过加权聚合将头部锚点的协同行为信息纳入长尾商品的行为表示中，从而补充其不足的协同信号，缓解局部协同关系不足的问题。

（3）我们设计了用于协同表示的维度自适应高斯扰动增强机制，该机制能够自适应地调整不同样本和特征维度上的扰动尺度，以提高协同表示的鲁棒性和泛化能力。同时，我们设计了语义校准蒸馏损失，将融合多模态表示中编码的协同偏好信息迁移到各个模态特定的表示空间，从而增强模态特定表示与协同偏好之间的一致性。

（4）我们在三个公开的Amazon数据集上进行了全面的实验。结果表明，CRGP在整体推荐性能、长尾商品建模能力和鲁棒性方面均持续优于所评估的代表性基线方法，验证了所提方法的有效性。

**方法片段：多模态推荐**

多模态推荐系统（MMRS）通过纳入文本和图像等内容信息，已成为缓解传统协同过滤在数据稀疏和冷启动场景下局限性的重要研究方向[7]、[33]、[44]。早期以VBPR [6]为代表的工作表明，通过将预训练的视觉特征与商品ID嵌入相结合，视觉信息可以有效提升推荐排序性能。随后，

**问题定义**

设用户集合为$U$，商品集合为$I$，其中$|U|$和$|I|$分别表示用户数和商品数。我们用$\mathbf{E}_u$表示初始ID嵌入，其中$\mathbf{e}_u \in \mathbb{R}^{d}$和$\mathbf{e}_i \in \mathbb{R}^{d}$分别表示用户和商品的ID嵌入，$d$为嵌入维度。用户-商品交互由矩阵$R \in \{0,1\}^{|U| \times |I|}$表示，其中$R_{ui}=1$表示用户$u$与商品$i$进行了交互（例如点击或购买），否则$R_{ui}=0$。基于交互矩阵$R$，我们构建协同邻接矩阵$A$，其中$A_{ij} = \sum_{u} R_{ui} \cdot R_{uj}$。

**方法**

本节介绍CRGP，一种基于协同关系重建和高斯扰动的长尾多模态推荐模型，如图1所示。CRGP包含三个核心模块：语义引导的长尾协同关系重建（LCR；第4.1节），用于为长尾商品补充协同信号；协同表示的高斯扰动增强（GPA；第4.2节），用于增强...

**实验**

为全面验证所提CRGP的有效性，我们设计了一系列实验来系统分析包括整体推荐性能、关键模块贡献、模型鲁棒性、长尾商品建模能力和超参数敏感性在内的各个方面。具体而言，实验部分聚焦于以下研究问题：

- RQ1：CRGP的整体推荐性能与现有代表性...

**结论**

本文提出CRGP来解决长尾多模态推荐中的三个关键挑战：长尾商品局部协同关系不足、协同表示学习对噪声的脆弱性以及多模态表示与协同偏好之间一致性不足。CRGP在协同关系重建、鲁棒表示学习和语义一致性约束三个层面对这些挑战进行了联合建模。

**CRediT作者贡献声明**

Xi Wang：撰写——审稿与编辑，撰写——初稿，可视化，验证，监督，软件，资源，项目管理，方法学，调查研究，获取资金，形式化分析，数据整理，概念化。Xianying Huang：撰写——审稿与编辑，监督，软件，方法学，调查研究，概念化。

**利益冲突声明**

作者声明不存在任何已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本文所报告的工作。

**致谢**

本研究部分得到了国家自然科学基金[资助号：62472059]的支持。我们感谢所有匿名审稿人慷慨地贡献了他们的时间和精力。他们的专业建议极大地提高了稿件的质量。

**作者简介**

Xi Wang（男），目前是重庆理工大学计算机科学与工程学院的硕士研究生，中国重庆。他的研究兴趣集中于多模态推荐。在硕士学习期间，他参与了多模态推荐研究项目，并在多模态表示学习和面向推荐的特征融合方面积累了经验。

Xi Wang | Xianying Huang
重庆理工大学 科学与工程学院，重庆，400054，中国