多模态推荐中的跨模态一致性学习与图关系增强

《Information Fusion》：Multimodal Recommendation with Cross-Modal Consistency Learning and Graph Relation Enhancement

　　•融合共现图与语义图以增强物品间关联。
•采用柯西-施瓦茨散度对齐异构多模态特征。
•对齐局部语义相关性与全局分布，实现统一表示。
•在Baby、Sports和Clothing数据集上取得显著性能提升，超越已有模型。

引言

信息与多媒体技术的迅猛发展使推荐系统成为现代在线服务（如电子商务、新闻和流媒体平台）的基石。通过将用户偏好与物品特征对齐，这些系统既提升了运营效率，也改善了用户体验。传统推荐方法（如矩阵分解）主要依赖基于ID的用户和物品特征，这限制了它们利用多模态内容中丰富语义信息（包括文本描述、视觉线索和音频信号）的能力。因此，这些方法在多媒体丰富的场景中往往表现不佳。多模态推荐通过整合异构数据模态来构建全面的物品表示，因而成为近期研究的热点。

近年来，多模态推荐领域取得了显著进展，研究者从特征提取、表示学习、模态融合和自监督学习等角度提出了多种解决方案。早期方法（如MMGCN [1]）通过简单拼接整合多模态特征。随着深度学习的进步，基于注意力机制和图神经网络（GNNs）的方法逐渐在多模态推荐研究中占据主导地位 [2]。例如，MCPTR [3] 通过多模态对比预训练和自注意力机制结合文本、视觉和图结构信息来分配融合权重；HCGCN [4] 关注由视觉和文本内容导出的物品表示，并探索混合行为模式以改进多模态推荐；MML [5] 在元学习框架中引入多模态元学习器以提升冷启动性能。近期，自监督学习被越来越多地应用于多模态推荐：MMSSL [6] 利用模态感知的交互结构和跨模态对比预训练来缓解标签依赖；FUMMER [7] 为模态特定的语义表示设计细粒度自监督任务；MENTOR [8] 整合多层次自监督任务以实现模态对齐和通用特征增强，从而缩小模态差距。

尽管取得了这些进展，现有方法仍面临两大主要挑战：（1）对物品间关系的探索不足。语义图单独忽略了由用户交互产生的潜在关联。例如，如图1所示，物品i1和i2在文本和视觉上具有相似性，而i1和i3尽管语义相似度低，却在用户历史中频繁共现。现有模型很少同时捕捉行为信号和语义信号，限制了推荐的多样性和准确性。例如，MCPTR [3] 构建了包含多模态信息的同构物品图，但并未将行为驱动的共现信号与语义图深度融合，仅依赖自注意力进行模态加权；HCGCN [4] 侧重于行为模式学习，但缺乏对语义相关性和行为相似性的联合建模；即使是近期的多行为融合方法也主要关注用户兴趣建模，而未设计针对物品关系的行为-语义融合框架。调查表明，现有的基于图的方法在联合建模行为信息和语义信息方面仍表现不佳，这可能导致新闻推荐中的主题漂移和商品推荐中的物品关联断裂，从而降低多样性和准确性。（2）多模态特征对齐困难。不同模态间统计特性的显著差异产生了巨大的模态差距（图2(a)）。虽然标准对比损失（如InfoNCE）能有效捕捉局部成对相关性，但它们并未明确强制全局分布对齐（图2(b)）。相比之下，仅依赖分布级对齐可能会削弱细粒度实例判别（图2(c)）。因此，有效缩小这一差距需要一种协同方法，平衡局部实例判别与全局分布一致性。现有方法往往难以实现这种平衡。例如，CMBF [9] 利用跨模态注意力捕捉图像和文本之间的语义关联，但依赖特征拼接而未显式解决跨模态的分布差异。BM3 [10] 采用双向对比自举从模态内和模态间两个视角进行跨模态对齐，但主要关注局部成对相关性而忽视了全局分布一致性。同样，尽管自监督方法改善了模态表示，它们很少纳入显式的分布级对齐，这可能限制跨模态一致性。

为解决这些挑战，我们提出了CORE-MR（跨模态一致性学习与关系增强的多模态推荐），旨在从用户行为视角强化物品语义关联，并通过统计散度优化跨模态特征一致性。具体而言，我们基于用户历史交互构建共现图，并与原始语义图深度融合以丰富潜在物品关系。此外，引入基于柯西-施瓦茨散度的对齐损失，同时捕捉配对模态间的局部语义相关性和全局分布统计，有效缓解模态差距和分布不平衡，从而增强多模态特征的统一表示。

本工作的主要贡献总结如下：
•我们提出了一个显式行为-语义融合框架，联合整合来自用户交互的物品共现信号和模态导出的语义图，实现更丰富的潜在物品间关系建模。
•我们引入了一种基于柯西-施瓦茨散度的分布感知跨模态对齐机制，通过对成对对比学习进行补充，额外正则化模态级分布一致性。
•我们在三个Amazon数据集——Baby、Sports和Clothing上评估了CORE-MR，观察到所有数据集上的持续性能提升。在Baby数据集上，相对于最强基线MENTOR，Recall@10和NDCG@10分别获得3.7%和4.1%的相对提升，验证了所提出组件的有效性。

章节片段

多模态推荐

多模态推荐旨在整合异构信息源——从文本数据和视觉内容到声学信号——以构建更细粒度的用户偏好表示。通过利用多种内容模态的互补性，这一研究领域在多种实际场景中展现了显著的实际影响，如在线零售、个性化新闻传播和多媒体内容分发 [11], [12], [13]。

预备知识

在本节中，我们形式化多模态推荐问题。表1总结了本文使用的符号。

令U和I分别表示用户集和物品集，其中u∈U且i∈I。训练三元组集合记为D=(u,i+,i?)。用户-物品交互矩阵记为R∈{0,1}^(|U|×|I|)，其中Rui=1表示用户u与物品i有过交互，Rui=0表示没有交互。基于R，我们构建二分邻接矩阵A∈R^(|U|+|I|)×(|U|+|I|)用于

方法论

本节介绍CORE-MR的整体架构，由四个核心组件组成：物品关系构建、用户和物品表示学习、跨模态特征对齐以及模型优化。在第一个组件中，使用多模态特征为视觉和文本模态分别构建物品-物品语义图，同时基于用户交互构建物品共现图。这些图捕捉潜在的行为和语义关系，

实验

在本节中，我们提出了一组全面的实验，旨在评估CORE-MR在三个广泛采用的真实世界数据集上的有效性。实证结果提供了明确证据，使我们能够研究以下四个研究问题（RQs）：
•RQ1：CORE-MR的有效性与最新传统和多模态推荐方法相比如何？
•RQ2：CORE-MR的关键组件在其整体性能中扮演什么角色？
•RQ3：CS（柯西-施瓦茨散度）能

结论与未来工作

在本工作中，我们提出了CORE-MR，一个整合视觉和文本物品特征与用户交互的多模态推荐框架。通过构建语义图和共现图来揭示潜在物品关系，并利用柯西-施瓦茨散度对齐跨模态特征，CORE-MR实现了局部和全局对齐，增强了模态一致性。大量实验表明，CORE-MR在Recall@K和NDCG@K方面优于最先进的基线。

CRediT作者贡献声明

Yihao Zhang：写作——审阅与编辑，监督，方法论，正式分析，数据管理。Yuanyuan Tang：写作——审阅与编辑，写作——原稿，可视化，验证，软件，方法论，数据管理，概念化。Ziqin Wang：验证，监督，正式分析。Xibin Wang：验证，正式分析。

利益冲突声明

作者声明，他们没有任何已知的竞争经济利益或个人关系可能影响本论文中报告的工作。

Yihao Zhang | Yuanyuan Tang | Ziqin Wang | Xibin Wang