CoCoMRec：多模态推荐中的反事实对比预训练方法

《Expert Systems with Applications》：CoCoMRec: Counterfactual Contrastive Pre-training for Multimodal Recommendation

　　•提出了一种用于多模态推荐的反事实对比预训练框架。•通过探索未被观察到的物品来减轻曝光偏差，捕捉用户潜在的偏好。•设计了一种双线性交互净化器，以减少模态特征中的冗余因素。•能够轻松与现有的协同过滤方法集成，从而具备强大的泛化能力和可扩展性。•在多个多模态推荐基准测试中取得了优异的性能。引言推荐系统已被广泛应用于各种在线应用中，帮助用户发现符合其个人兴趣的信息或物品，例如在电子商务（Ding, Lai, Mok, Chua, 2023, Xv, Lin, Guan, Gou, Li, Deng, Xu, Zheng, 2023）和流媒体（Liu, Zhu, Dai, Wu, 2022, Yi, Wang, Ounis, Macdonald, 2022）平台中。协同过滤技术通过分析历史交互数据来捕捉用户偏好，已经取得了显著的成功。然而，这些方法仍然面临数据稀疏性和冷启动问题等挑战。近年来，随着在线平台上多媒体信息（如文本、图像、音频和视频）的激增，研究人员通过整合物品的多模态内容来研究多模态推荐系统，以此来缓解这些问题（Khan, Sisodia, 2025, Wei, Xu, Zhu, Ma, Huang, 2024b, Wu, He, Wang, Zhang, Wang, 2022a）。利用物品的多模态内容可以捕捉更细致的用户偏好，从而提升传统协同过滤方法的性能并丰富用户体验。多模态推荐的经典架构始于使用预训练的单模态模型，如BERT（Devlin, Chang, Lee, & Toutanova, 2019）、CLAP（Elizalde, Deshmukh, Al Ismail, & Wang, 2023）和ViT（Dosovitskiy et al., 2021），来提取物品的模态特征。这些嵌入随后作为辅助信息整合到现有的推荐框架中。早期的研究通过纳入单模态特征，如视觉特征，来扩展传统的矩阵分解方法（He & McAuley, 2016）。近年来，得益于图神经网络能够捕捉图中节点之间的高阶关系，基于用户-物品交互图的多种多模态推荐方法应运而生。这些方法利用GNN来建模多模态环境下的高阶用户偏好（Wei, Wang, Nie, He, Chua, 2020, Wei, Wang, Nie, He, Hong, Chua, 2019, Yu, Tan, Lu, Bao, 2023, Zhou, Zhou, Liu, Zeng, Miao, Wang, You, Jiang, 2023c）。尽管这些多模态推荐方法取得了显著的性能提升，但它们仍然存在两个主要限制。首先，现有方法主要依赖于已交互物品的多模态内容来探索用户偏好。然而，由于用户在每次交互时无法观察到所有物品，这可能导致现有方法对用户偏好的判断出现偏差。例如，有些物品可能因为曝光不足而未被用户选择。在这种情况下，仅考虑已交互物品的多模态内容可能会导致对用户兴趣的片面理解。其次，预训练模型提取的通用模态特征往往缺乏针对特定任务的适应性，使其不适用于推荐任务。例如，从物品图片中提取的视觉特征可能包含背景和装饰等冗余因素，这些因素会引入噪声并降低推荐精度。在本文中，我们主张从两个关键角度来解决上述限制：（1）纳入未交互物品的多模态内容，以减轻曝光偏差并更全面地了解用户偏好；（2）以任务为导向地净化预先提取的模态特征。基于这些想法，本研究旨在探讨一个核心的反事实问题：“如果用户在每次交互时能观察到更多未交互物品，他们的偏好会受到怎样的影响？”为此，我们提出了一种用于多模态推荐的反事实对比预训练框架CoCoMRec。具体而言，CoCoMRec作为一种数据增强策略，作为数据层面的反事实干预近似值，用于减轻多模态推荐中的曝光偏差。首先，我们通过在用户与语义上相关的未交互物品之间引入新边，构建一个以模态为引导的反事实用户-物品交互图。这一过程模拟了另一种曝光场景，代表了这样一个反事实世界：用户可以接触到更多潜在有趣的物品，而不受现实世界曝光机制的限制，如图1所示。其次，我们设计了一种双线性交互净化器，它能够捕捉协作特征与模态特征之间的细微交互，旨在在协作特征的引导下减少模态特征中冗余因素的影响。随后，我们对构建的反事实交互图独立进行图卷积，以学习用户和物品的协作特征及模态表示。在预训练阶段，我们设计了一个自监督对比学习任务作为优化目标。该任务旨在使融合后的多模态表示与协作表示保持一致，从而增强多模态表示中的协作特性，使其更适用于推荐任务。第三，我们使用现有的协同过滤推荐模型，在原始交互图上对这些预训练的多模态表示进行微调，从而实现对用户潜在偏好更全面、更精确的建模。主要贡献总结如下：•我们提出了CoCoMRec，一种用于多模态推荐的新型反事实对比预训练框架。CoCoMRec采用以模态为引导的交互增强策略，通过构建连接用户与语义相关但未交互物品的反事实交互图，有效减轻曝光偏差，使模型能够捕捉到用户在既定兴趣领域内未观察到的交互之外的潜在偏好。•我们设计了一种双线性交互净化器，通过深入探索协作特征与模态特征之间的细微交互，有效减少物品模态特征中的冗余和噪声信息。•CoCoMRec可以集成到现有的通用协同过滤推荐模型中进行微调与优化。在三个公共数据集上的广泛实验表明，CoCoMRec的性能明显优于以往的方法。本文的其余部分结构如下：第2节回顾相关工作，第3节介绍基础知识，第4节详细阐述方法论，第5节展示实验结果，第6节总结局限性，第7节对全文进行总结。多模态推荐通常，研究人员利用物品的多模态内容来改进传统的推荐方法。早期的多模态推荐方法主要基于矩阵分解，例如VBPR（He & McAuley, 2016），它通过纳入物品的视觉特征来丰富ID嵌入。此后，出现了许多基于GNN的多模态推荐方法。MMGCN（Wei et al., 2019）通过在多个用户-物品二分图之间传播模态特征，来建模用户的偏好。问题定义按照惯例，我们将用户-物品交互表示为一个图G={V,E}。节点集V=U∪I，其中U={u}和I={i}分别表示用户和物品的集合。边集E={eu,i|Ru,i=1,u∈U,i∈I}可以用二元交互矩阵R∈R|U|×|I|来表示，其中元素Ru,i=1表示用户u之前与物品i有过交互，否则Ru,i=0。设eu,ei∈Rd表示用户u和物品i的输入ID嵌入，其中d为嵌入维度。除了协作方法之外，在本节中，我们介绍了我们所提出的CoCoMRec，它包括在反事实交互图上的预训练阶段以及使用现有推荐模型的微调阶段。整个框架如图3所示。数据集遵循（Guo, Li, Li, Wang, Shi, Ruan, 2024, Zhou, Zhou, Liu, Zeng, Miao, Wang, You, Jiang, 2023c）的方法，我们在三个广泛使用的Amazon3数据集（McAuley, Targett, Shi, & Van Den Hengel, 2015）上评估了我们的方法：（1）Baby；（2）Sports and Outdoors；（3）Clothing, Shoes, and Jewelry，简称为Baby、Sports和Clothing。这三个数据集都经过了用户和物品的5核处理。表1展示了统计信息。局限性尽管CoCoMRec在性能上有了显著提升，但它也存在一些局限性。我们认为，所提方法的主要局限在于预训练阶段的计算成本，尤其是在处理极大规模数据集时。为了评估实际应用效果，我们对不同规模的数据集进行了效率分析，其中包括规模更大的Amazon-Electronics数据集（包含192,403名用户、63,001件物品以及1,689,188条记录）。结论在本文中，我们提出了一种用于多模态推荐的反事实对比预训练框架CoCoMRec。具体而言，我们首先构建了一个反事实交互图，该图利用已交互和未交互物品的模态特征来预训练用户和物品的模态表示。然后，我们设计了一种双线性交互净化器，以减少模态特征中冗余因素的影响，并结合自监督对比学习任务来进一步优化。CRediT作者贡献声明任嘉瑞：概念构思、方法论、软件实现、验证、可视化、写作——初稿撰写。周楚毅：数据整理、资源获取、可视化。赵东明：数据整理、写作——审阅与编辑。宋春尧：项目管理、监督、写作——审阅与编辑。文彦龙：资金筹集、项目管理、监督、写作——审阅与编辑。袁晓杰：资金筹集、项目管理、监督。利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所报告的工作。任嘉瑞|周楚毅|赵东明|宋春尧|文彦龙|袁晓杰