MCLE: 面向预训练特征的基于相似度模态净化的多模态协同学习与增强

《Neural Networks》：MCLE: Multimodal Collaborative Learning and Enhancement with Similarity-based Modal Purification for Pretrained Features

　　

• •
  基于相似度的模态净化通过可学习向量过滤噪声。
• •
  自适应聚合器通过注意力和门控机制实现个性化融合。
• •
  多视图建模捕捉全面的用户 - 物品和物品 - 物品信号。
• •
  实验表明 MCLE 优于几种近期的基线模型。

引言

随着电子商务平台的普及，推荐系统在帮助用户发现相关内容方面变得越来越重要。传统协同过滤方法主要依赖历史用户 - 物品交互 Koren et al. (2009) 来生成推荐。然而，仅靠交互数据往往不足以准确捕捉用户的潜在偏好。最近，多模态数据的广泛可用性促使研究人员探索将图像和文本等多样化模态信息集成到推荐框架中以提高准确性 Chen et al. (2017); Cheng et al. (2016); McAuley et al. (2015); Zhou et al. (2023a)。

多模态推荐方法的发展经历了几个阶段。早期方法采用了简单的特征融合策略，例如 VBPR He and McAuley (2016)，它将视觉特征与 ID 嵌入拼接。随后，研究人员开始区分模态重要性，正如 DMRL Liu et al. (2022) 所展示的，它引入了一个基于注意力的框架，根据用户偏好动态加权不同的模态特征。最近，基于图神经网络的方法 Wu et al. (2022); Zhang et al. (2022); Zhou, Zhou, Zhang, Shen, 2023b, Zhou, Lin, Liu, Miao, 2023c 获得了显著关注。例如，MMGCN Wei et al. (2019) 构建了模态特定的用户 - 物品二部图以捕捉高阶信息，而 LATTICE Zhang et al. (2021) 进一步引入了物品语义图来建模物品相关性。FREEDOM Zhou and Shen (2023) 通过冻结物品 - 物品图结构并去噪用户 - 物品交互图进一步增强了性能。

尽管有这些进展，现有方法在特征表达能力方面仍面临挑战。大多数方法依赖于从通用预训练模型 Kenton and Toutanova (2019); Simonyan (2014) 提取的原始特征，这些特征往往缺乏准确偏好建模所需的领域特异性和语义深度。最近的工作如 MENTOR Xu et al. (2025b)、COHESION Xu et al. (2025a) 和 HPMRec Chen et al. (2025) 专注于通过多级自监督对齐、双阶段图融合和超复杂嵌入策略来增强多模态表示。然而，这些方法仍然仅依赖传统的预训练特征，并忽略了预训练文本嵌入模型提供更丰富语义理解的可能性，而这些理解可能更好地捕捉用户偏好和物品特征。此外，多模态数据中的噪声问题也备受关注。诸如 MGCN Yu et al. (2023) 的研究表明，视觉噪声（例如无关的背景元素、光照变化）和文本冗余显著影响特征学习和后续推荐性能的质量。尽管最近的工作如 Guider Li et al. (2025) 提出了教师 - 学生知识蒸馏框架，通过跨模态语义相似度重新校准用户反馈可靠性在交互层面进行去噪，但此类方法主要作用于交互层面信号，并未直接净化模态特征表示本身。当噪声嵌入在各个模态的特征向量中时，仅靠交互层面的去噪无法完全抑制其在后续图卷积和特征聚合阶段的传播。

个性化建模不足仍是另一个关键挑战。研究表明，用户的模态偏好在不同场景下存在显著差异 Derevensky (1978)。例如，用户可能在购买服装时优先考虑视觉特征，但在购买书籍时强调文本描述。虽然一些像 MGCN 这样的工作纳入了行为感知的自适应融合机制，但现有的特征融合方法 largely 采用统一策略，无法适应这些动态偏好特征。

为解决这些局限性，我们提出了一种名为 MCLE 的新方法，即用于推荐的 多模态协同学习与增强框架。它利用预训练文本嵌入模型来丰富用户和物品的文本表示，获得比传统预训练编码器更精确的语义表示。为了应对复杂的模态噪声，我们引入了一个基于相似度的模态净化（SMP）模块，该模块采用可学习的模态参考向量通过相似度计算来评估特征重要性。此外，我们开发了一个多模态自适应特征聚合器，通过差异感知注意力和动态模态偏好门控实现细粒度特征融合，更好地适应个性化用户偏好。在三个真实世界数据集上进行的实验验证了我们所提出模型的有效性。

本工作的主要贡献总结如下：

• •
  我们引入了一个基于预训练语言模型的特征增强模块，具有自适应融合机制，将增强的用户画像与交互派生特征相结合以获得更好的特征表示。
• •
  我们设计了一个基于相似度的模态净化（SMP）模块，通过可学习的模态参考向量有效解决多源噪声，实现模态内去噪和跨模态特征质量评估的同时进行。
• •
  我们提出了一个多模态自适应特征聚合器，集成了差异感知注意力和动态偏好门控，用于细粒度个性化推荐。

章节摘要

多模态推荐系统

传统推荐系统主要依赖协同过滤通过历史交互建模用户偏好。然而，固有的数据稀疏性问题限制了其性能。为解决这一挑战，多模态推荐系统集成了图像和文本等多样化模态信息以丰富物品表示。VBPR He and McAuley (2016) 开创了将视觉特征纳入推荐系统的先河。LATTICE Zhang et al. (2021) 增强了多模态

方法论

本节阐述了 MCLE 的架构并详细说明了所提出模型的每个组件。图 1 展示了所提出架构的概述。

实验

为了评估我们提出的 MCLE 框架的有效性，我们在三个真实世界数据集上进行了广泛的实验。我们的实验分析旨在解决以下研究问题：

• •
  RQ1：我们提出的方法与最先进的通用和多模态推荐模型相比表现如何？
• •
  RQ2：MCLE 中的不同组件如何贡献于其推荐准确性？
• •
  RQ3：不同的超参数设置如何影响 MCLE 的性能？
• •
  RQ4：能否

结论

在本文中，我们提出了 MCLE，这是一个多模态协同学习与增强框架，通过预训练语言模型增强的特征和自适应融合机制提高了推荐性能。具体来说，我们首先利用预训练文本嵌入模型来增强用户画像和物品属性，并开发了一种自适应融合机制，用于将这些增强特征与交互派生表示相结合。然后我们设计了一个基于相似度的模态

CRediT 作者贡献声明

Guozhen Wang：写作 - 原稿、可视化、验证、软件、方法论、调查、数据整理、概念化。 Yuliang Shi：写作 - 审阅与编辑、监督、项目管理。 Lin Cheng：写作 - 审阅与编辑、写作 - 原稿。 Kaiyuan Qi：写作 - 审阅与编辑、写作 - 原稿。 Dong Wu：资源、数据整理。 Hui Li：可视化、验证。 Zhiyong Chen：写作 - 审阅与编辑。

利益冲突声明

作者声明他们不存在任何已知的可能影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作部分由山东省重点研发计划（2025CXGC020110）、国家自然科学基金（编号 62376135，编号 62506212）、中国博士后科学基金资助项目（编号 GZC20251641）、山东省博士后创新计划（编号 SDCX-ZG-202502021）支持。本研究也由山东省人工智能民生服务应用重点实验室（编号 PKL2024A45）和山东高级

Guozhen Wang|Yuliang Shi|Lin Cheng|Kaiyuan Qi|Dong Wu|Hui Li|Zhiyong Chen