基于模态感知的扩散增强与多级负采样技术在多模态推荐中的应用

《Knowledge-Based Systems》：Modal-aware Diffusion-enhanced with Multi-level Negative Sampling for Multimodal-based Recommendation

　　胡一军|唐睿|李帅|莫贤
中国宁夏回族自治区银川市宁夏大学信息工程学院，邮编750021

摘要
基于多模态的推荐系统通过整合多种模态的信息并利用异构数据之间的互补性，提升了推荐的准确性。（然而，一些现有的推荐方法忽视了用户-物品交互中的稀疏性和噪声对性能的负面影响。此外，近期研究也忽略了扩散重建嵌入与各模态之间存在的语义差异，以及不利于重建的方向，这些因素限制了性能的提升。为解决这些问题，本文提出了一种基于模态感知的、具有多级负采样的扩散增强多模态推荐方法——MDMNS。）具体而言，我们的MDMNS首先设计了一种模态感知的增强型图扩散模型。（在扩散模型的反向过程中，我们使用模态感知损失函数，使用户-物品交互嵌入更接近对应的模态，并设计跨模态语义转换作为去噪信号，以使重建后的嵌入与融合后的多模态嵌入保持一致。同时，利用模态引导来确保重建方向既与任务相关，又与模态特征一致。）（其次，我们提出了负采样策略、局部图对比学习以及分层模态对比学习。）具体来说，局部图对比学习在多模态融合后的物品嵌入中添加不同强度的高斯噪声，然后对这些带噪声的嵌入与原始嵌入进行对比学习。而分层模态对比学习则将融合后的多模态用户-物品交互嵌入与各个单独模态的嵌入对齐，其层次结构由各个模态的融合程度决定。在三个公开的多模态数据集上的实验结果表明，所提出的MDMNS方法优于现有的最先进方法，证明了其有效性。

引言
多模态信息指的是以多种感知形式呈现的数据，常见的模态包括文本、图像、音频和视频[1]。基于多模态的推荐方法将物品的多模态信息作为补充数据，这不仅丰富了物品特征的描述，还有助于在交互过程中更全面地捕捉用户的潜在偏好。（例如，图1展示了多模态推荐系统在亚马逊婴儿产品推荐中的应用案例1。）该图包含两类节点——用户和物品，物品的多模态信息包括文本和图像。（目前，基于多模态的推荐方法已广泛应用于电影和新闻推荐等实际场景中[2]。）

一般来说，基于多模态的推荐过程通常包括两个主要步骤。首先，使用预训练的深度学习模型从多媒体内容中提取多模态特征[3]；然后，将这些特征集成到推荐系统架构中，以增强用户-物品交互图中的节点和关系表示。近年来，基于多模态的推荐研究主要集中在图神经网络的应用上。例如，UPGCN[4]通过用户感知引导的图卷积网络整合多模态特征，并结合跨模态对比学习来增强用户-物品交互建模。相比之下，MMAgentRec[5]则通过多模态图卷积网络融合文本和图像特征，并结合自我反射式大型语言模型，在旅行推荐系统中实现动态交互。）然而，大多数现有的基于多模态GNN的推荐方法仍然严重依赖大规模且高质量的有标签数据进行训练。在实际应用场景中，用户-物品交互图往往存在显著的数据稀疏性，这极大地限制了模型准确捕捉用户与物品之间复杂关系的能力，进而影响推荐的质量。

为应对推荐系统中数据稀疏性带来的挑战，一些研究人员将图对比学习引入推荐方法中[6]。具体而言，这种方法通过图增强技术从无标签数据中生成自监督信号，从而实现正样本对之间的特征对齐以及负样本对之间的特征分离。在基于多模态的推荐任务中，GCL展现了显著的性能优势。最近，PMMRec[7]基于用户行为序列构建了跨模态对比视图，实现了纯粹的多模态且可迁移的推荐系统。）相比之下，CLAM[8]通过对比学习实现跨模态特征的间接对齐与融合。（另一方面，SMORE[9]则从用户-物品交互中构建对比视图，并结合InfoNCE损失函数进行跨模态对比学习。）（此外，源自图像领域的ImageBind[10]通过跨视图对比学习，将六种模态与图像对齐，从而实现跨模态检索。因此，通过利用对比学习，可以有效实现对跨模态数据的对齐。）（例如，LGMRec[11]通过GCL实现跨模态对齐。）然而，）（大多数现有的推荐方法都侧重于利用对比学习在基于多模态的推荐中实现自监督学习。）（这类方法忽视了用户-物品交互嵌入中固有的噪声问题，这可能导致错误的自监督信号，进而降低模型性能。）

近期的研究中，扩散模型展现出了在降低噪声和生成自适应对比视图方面的卓越能力。在正向过程中，扩散模型逐渐向原始的用户-物品交互嵌入中添加噪声，而在反向过程中，则利用神经网络迭代去除噪声，从而重建用户-物品交互表示。例如，DiffKG[13]通过扩散模型重建知识图谱结构，生成对比视图，并进行多模态关系对齐以及跨视图对比学习。）相比之下，）DiffCL[12]首先使用图编码器整合结构信息和模态信息，然后再通过扩散模型生成对比视图。）（而DiffMM[14]则将单模态信息纳入扩散模型中，生成模态感知的对比视图，并利用跨模态对比学习来对齐文本、图像和音频特征。）（值得注意的是，每种模态都携带丰富的语义信息，并与用户偏好和物品特征之间存在语义关联。同时，主流的基于扩散模型的推荐方法会使用重建损失来防止语义漂移，比如DiffKG[13]。）（然而，扩散模型重建的嵌入与多模态语义的对齐程度有限。例如，DiffMM[14]仅注入单一模态的信息，因此无法重建与多模态语义对齐的嵌入。）（因此，如何有效利用扩散模型重建具有多模态语义一致性的用户-物品交互嵌入仍是一个关键挑战。）

此外，如前所述，GCL的核心机制是最大化正样本对之间的相似度，同时最小化负样本对之间的相似度。在负样本选择方面，近年来，通过扩散模型进行负采样在各种基于图的任务中展现了显著优势。具体来说，扩散模型在反向过程中可以生成不同难度级别的负样本（重建嵌入越接近，负样本的难度就越高，区分起来就越困难）。）例如，DMNS[15]利用扩散模型从潜空间中生成难度可控的负节点；DiffHEG[16]则进一步通过分层生成方式产生具有多模态感知的负样本，并结合动态边界调整来提高负采样的质量，从而支持在多个语义层级和难度级别上生成负三元组。不过，这些方法生成的负样本并非完全可控。（因为扩散模型是基于时间步进行非均匀重建的。具体来说，从t时刻到t?1时刻的重建程度与从t?1时刻到t?2时刻的重建程度有所不同。这种非均匀性源于扩散模型所带来的信噪比。同时，信噪比虽然呈单调下降趋势，但其下降速率并非恒定。）（因此，通过反向过程在特定时间步提取负样本，并不能保证样本难度成比例增加。例如，在1/2时间步抽取负样本，并不意味着其难度会比纯噪声高50%。）（此外，这些方法通常需要批量处理用户-物品交互嵌入，且每批都需要从不同的时间步抽取负样本。当批次数量增加时，使用扩散模型生成的负样本进行对比学习可能会导致较高的计算复杂度，从而影响整体效率。）

另外，在基于多模态的推荐系统中，全局GCL是一种常用的策略[14]，它将用户嵌入和物品嵌入都纳入对比学习框架中。最近的研究，如KDiffE[17]，通过多模态知识扩散增强用户嵌入和物品嵌入，结合注意力感知的GNN与任务导向的对比学习，以优化推荐性能。类似地，MENTOR[18]通过分层对比学习实现用户嵌入和物品嵌入的跨模态语义对齐，从而提升多模态推荐的效果。然而，由于物品通常包含丰富的多模态特征（如文本、图像和音频），而用户则主要表现为行为模式（如点击、购买和浏览），因此在嵌入空间中的表征目标存在差异。用户嵌入倾向于捕捉行为偏好，而物品嵌入则侧重于表达内容特征。当用户也被纳入对比学习过程时，可能会导致目标冲突：用户嵌入旨在让相似的物品嵌入更加接近（例如，两个都喜欢“性价比高的手机”的用户），而物品嵌入则需要区分不同物品之间的差异（例如，手机A和手机B的CPU型号、屏幕刷新率等方面的差异）。这种目标不一致性可能会降低对比学习的整体效果。）（此外，对用户嵌入和物品嵌入同时进行对比学习会增加计算开销，尤其是在大规模图数据中，计算成本会显著上升。因此，设计一种基于负采样的对比学习方法来优化物品嵌入，不仅可以提升其表征质量，还能减少数据稀疏性，进而改善多模态融合效果。与同时对用户和物品应用对比学习相比，这种方法不仅能提高推荐精度，还能提升计算效率。）

鉴于上述挑战，我们提出了如图2所示的基于模态感知的、具有多级负采样的扩散增强多模态推荐方法——MDMNS。该框架将基于多模态数据的分层扩散对比学习与负采样对比学习方法相结合。为解决数据噪声问题，我们首先设计了一种增强的模态感知图扩散模型。（该模型在反向过程中首先引入一种主导模态（如图像模态）作为模态感知信号，同时利用互补模态（如文本和音频）作为条件引导，生成模态感知的用户-物品交互嵌入，并引导反向过程朝着跨模态对齐的方向发展，如左上角子图所示。）（通过这种方式，我们可以尽可能减小错误用户-物品交互的影响。）（接着，为了更好地将用户的语义偏好和物品特征与多模态语义对齐，我们在扩散模型的反向过程中引入了语义转换损失函数。该函数旨在最小化初始用户-物品交互嵌入与多模态嵌入之间的语义差异，从而提升语义一致性。）（接下来，为了解决用户-物品交互嵌入中存在的稀疏性问题，我们提出了两种GCL流程，如右下角插图所示。）（第一种是多模态负采样对比学习方法，它借鉴了扩散模型的正向过程。该方法根据时间步精确控制噪声强度，向融合后的用户-物品交互嵌入中添加噪声，然后将其与原始嵌入进行比较。）（这种方法不仅提升了嵌入的稳定性，还通过精确调控噪声注入过程，加强了對负样本中噪声内容的控制，从而减轻了反向过程中各步骤去噪不均带来的问题。）（第二种策略是模态对比学习方法。该方法将用户-物品交互嵌入与所有模态结合，形成全面的多模态视图，再将其与仅包含单一模态的单模态视图进行对比。这种对比机制不仅确保了跨模态表示的对齐，还促进了异构模态信息的有效整合，从而降低了数据稀疏性。）（我们的方法不仅取得了最先进的性能，还为面临数据稀疏性和用户-物品交互噪声的现实世界推荐系统提供了实用的解决方案。）（我们的源代码可在以下链接获取：https://github.com/HuXianshengNXU/MDMNS-main。）

总之，本文的主要贡献如下：
• 我们提出了一种扩散增强的多模态分层对比学习框架，该框架将模态感知图扩散模型与分层GCL相结合，以实现多模态信息的对齐，提升模型鲁棒性，并解决数据稀疏性问题。
• 我们设计了条件引导和模态语义转换策略，用于将用户-物品交互嵌入与多模态信息对齐。
• 我们提出了一种基于时间步的多级负采样生成机制，该机制具有多级难度设置。随后，会在注入噪声之前，对这些负样本与嵌入向量进行全局对比学习。在三个公开的真实世界数据集上的实验结果表明，所提出的MDMNS及其核心组件在多个评估指标上的表现均优于现有的最先进方法，从而证明了我们方法的有效性与优越性。这也进一步表明，我们的方法能够有效地应用于真实世界的多媒体业务平台中，为用户推荐符合其偏好的物品。

相关研究
基于GCL的推荐系统。
自监督学习已被广泛证明是解决推荐系统中数据稀疏问题的有效方法[18]、[19]。诸如SGL[20]、NCL[19]和HCCF[21]等方法，通过随机删除节点或边以及语义邻居挖掘等机制，对正节点对进行对比学习，从而生成自监督信号。然而，这些方法未能将多模态信息整合进来。

问题描述
在基于多模态的推荐模型中，我们首先将用户-物品交互图定义为G={(u,i)∣u∈U,i∈I}，其中U和I分别表示用户集合和物品集合。边(u, i)表示用户u曾与物品i有过交互。为丰富用户-物品交互图G的内容，使其包含文本、图像和音频特征等多种模态信息，我们为每个物品i引入特定的模态特征向量，记为F^i={f^i1,?,f^im,?,f^i|M|}。每个向量f^im∈Rdm代表了相应的特征信息。

方法
在本节中，我们将介绍所提出的MDMNS模型的技术架构，并阐述如图2所示的框架。首先，我们基于跨模态语义转换设计一种分层图结构DM，以此构建具有多模态感知能力的嵌入向量。该DM通过引入条件引导，重建出具有跨模态对齐表示的用户-物品交互嵌入向量。同时，我们还提出了一种跨模态语义转换策略，以实现各模态之间的对齐。

实验流程与结果
在本节中，我们将通过实验结果来评估所提出的MDMNS框架的有效性。为此，我们探讨了以下研究问题：
•RQ1：与各种最先进的推荐系统相比，所提出的模型表现如何？
•RQ2：在我们的关键组件中，哪些部分对不同数据集下的整体性能有着重要贡献？
•RQ3：MDMNS在多大程度上解决了推荐系统中常见的稀疏性问题？
•RQ4：……

结论
本研究提出了一种创新性的框架，通过将物品的多模态信息作为辅助信号纳入概率扩散范式中，利用模态融合与对比学习技术，生成质量更高的用户-物品交互嵌入向量。更具体地说，我们的方法通过条件引导、模态语义转换以及多模态分层图增强扩散机制，重建出了具有模态感知能力的用户-物品交互图。

CRediT作者贡献说明
胡一军：撰写——初稿、可视化、验证、方法论、研究分析、形式化分析、数据整理、概念设计。唐睿：撰写——审阅与编辑、方法论、概念设计。李帅：撰写——审阅与编辑、方法论、研究分析、概念设计。莫宪：撰写——审阅与编辑、监督、项目管理、方法论、资金获取、概念设计。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
我们的研究得到了宁夏自然科学基金（2024AAC05011）、宁夏重点研发计划（高层次人才引进专项）（2025BEH04048）以及国家自然科学基金（62306157）的支持。