针对多模态推荐的有效提示式蒸馏方法

《Expert Systems with Applications》：Effective Prompt-wise Distillation for Multi-modal Recommendation

　　

• •
  PMMKD利用软提示来弥合多模态推荐中的语义 gap。
• •
  从图神经网络（GNN）到卷积神经网络（MLP）的知识蒸馏可以缓解过度平滑问题。
• •
  在R@20和NDCG@20指标上，相较于现有最佳方法（SOTA）分别提升了4.8%和13%。
• •
  通过针对提示的知识蒸馏，减少了跨模态的噪声和冗余。
• •
  在保持质量的同时显著提高了推理效率。

引言

多模态推荐（MMRec）在各种在线服务中至关重要，包括短视频分享应用（Cai, Qian, Fang, & Xu (2022)；Wei et al. (2022)）、社交媒体（Guo, Yin, Chen, Zhang, & Zheng (2022)）以及与食物相关应用（Chen, Chai, Wang, & Wang (2026)）。这些MMRec系统利用辅助的多模态内容来补充历史用户-物品互动数据，从而提高推荐性能。MMRec模型的主要目标是发现并表示不同模态之间的隐藏关系，可能恢复单一模态方法会忽略的互补信息，并捕捉隐性的互动。

MMRec系统的核心是整合多模态内容数据，包括模态对齐和融合（Li, Zhao, Lin, Su, & Zhang (2024); Wei, Xu, Zhu, Ma, & Huang (2024b); Zhu et al. (2023)）。现有的方法可以分为基于矩阵分解（MF）和基于图神经网络（GNN）的方法，两者都旨在有效整合多模态内容数据。对于基于MF的方法，VBPR（He & Mcauley (2016)首次采用视觉信号来预测用户偏好。ACF（Chen et al. (2017）结合注意力机制与协同过滤来捕获物品级别的隐性反馈。VMCF（Park, Kim, Oh, & Yu (2017）关注用户互动过程中的其他物品，并根据视觉特征建模用户偏好。由于MMRec系统使用的是结构化互动数据，而GNN在处理此类数据方面具有优势，因此被广泛应用于MMRec。现有的基于GNN的方法构建多模态物品互动图进行表示。DualGNN（Wang et al. (2023）利用用户和多模态物品的二元图来揭示独特的融合模式。考虑到二元图的异质性，HGCL（Cai et al. (2023）提出了一种异构图编码器来学习高质量的模式和协同表示。MEGCF（Liu et al. (2023）构建了对称线性GCN来传播信息，捕捉高维语义关联和协同关系。尽管基于图的方法在MMRec中取得了很大成功，但在表示质量和效率方面仍存在某些问题。

为了解决上述挑战，典型方法倾向于缩减多模态物品图的规模，聚焦关键维度特征。例如，BM3（Zhou et al. (2023c）和PromptMM（Wei, Tang, Xia, Jiang, & Huang (2024a）旨在有效生成高质量表示。BM3（Zhou et al. (2023c）采用dropout技术创建对比视图，构建用户-物品和多模态物品-物品视图之间的对齐视角。PromptMM（Wei et al. (2024a）从基于模型的方法开始，通过多模态知识蒸馏（KD）将GNN获得的知识蒸馏到轻量级GCN中。上述过程提高了效率并减轻了多模态噪声的影响。然而，现有研究忽略了表示的区分能力，使得生成表示之间的区分变得困难（如图1（a,b）所示）。此外，尽管研究人员已经认识到MMRec中的推理效率问题，但当前方法的效率仍有很大提升空间。当前的MMRec方法仍面临以下限制：

• •
  由于用户和物品特征空间之间存在固有的语义差距，在互动建模中采用直接融合策略会导致物品表示与跨域噪声纠缠，从而影响用户偏好建模的准确性。
• •
  随着GNN层的加深，基于图的方法可能导致过度平滑问题，影响推荐性能。此外，减少推理过程中所需的时间也是一个需要关注的挑战。

为了解决这些挑战，我们提出了一种新颖的基于提示的多模态知识蒸馏方法，称为PMMKD，该方法通过知识蒸馏在多模态物品侧和用户侧高效对齐特征。具体来说，为了减少用户-物品互动建模中的冗余和噪声，我们使用提示学习来构建捕获关键信息的物品侧软提示。为了进一步缓解基于图方法的过度平滑和效率低下的问题，我们通过知识蒸馏将GNN中的结构化知识蒸馏到MLP中，显著提高了推理速度，同时保持了表示质量。

我们工作的贡献可以总结如下：

• •
  我们提出了一种高效的多模态知识蒸馏方法PMMKD，该方法有效对齐跨模态表示，以缓解语义差距并减少模态冗余和偏见的影响。
• •
  为了防止物品表示与跨模态噪声纠缠，我们使用软提示来捕获特定模态的关键信息，为每种数据类型设计软提示以减少模态间耦合。
• •
  为了缓解基于图方法的过度平滑和效率低下问题，我们使用GNN作为教师模型，并设计各种KD策略将教师的知识转移到MLP中，同时尽可能保留教师模型学习的结构化协同关系。
• •
  我们使用真实世界数据集进行实验来评估模型的性能。结果表明，PMMKD在效率和效果上都超越了基线方法。

章节片段

相关工作与研究目标

在本节中，我们讨论了三个领域的相关工作：基于图的多模态推荐、推荐的知识蒸馏以及推荐的提示调优。

初步介绍

为了清晰起见，本文使用的主要符号在表1中进行了总结。多模态推荐系统的目标是创建一个预测模型，利用各种内容特征和用户-物品互动来估计用户与物品互动的概率。该函数整合了与物品相关的文本特征T、视觉特征V和音频特征A，以及用户和物品之间的互动$\mathcal{A}$。这个函数的结果是计算得出的

方法论

在本节中，我们描述了所提出的方法PMMKD，如图2所示。PMMKD包括两个阶段：基于提示的离线教师训练（S1）和联合KD训练（S2）。第一阶段（S1）侧重于开发更强大的教师模型，而第二阶段（S2）涉及将教师模型的知识转移到学生模型中，两个阶段共同作用以获得更好的结果。S1包括特征初始化4.1、软提示构建4.2等。

理论分析

在本节中，我们为提出的PMMKD框架提供了严格的理论分析。我们为（1）基于提示的模态对齐的有效性和（2）过度平滑问题的缓解提供了理论保证。这些理论结果补充了我们的实证发现，并提供了对PMMKD工作机制的更深入理解。

实验

为了验证我们方法的有效性，我们在本节中比较了许多强大的基线方法，并从多个角度验证了我们方法的有效性。我们将按以下顺序展示实验部分：数据集描述、基线方法、性能比较、消融分析、模型复杂性分析和超参数讨论。

结论与未来工作

本文旨在通过引入一种新的模态感知知识蒸馏（KD）框架来优化和增强多模态推荐系统，该框架通过提示调优技术得到了进一步加强。我们首先使用提示方法来建模U-I协作和多模态表示之间的关系，旨在解决来自不同分布的数据之间的差距。在开发出高性能的教师模型后，我们观察到现有的基于图神经网络（GNN）的方法

CRediT作者贡献声明

Fuyong Xu：概念化、方法论、软件、写作——原始草案。Yixin Fu：数据整理、验证。Lei Guo：监督、形式分析。Yuhan Zhang：调查、可视化。Zhenfang Zhu：监督、写作——审阅和编辑。Peiyu Liu：资源、写作——审阅和编辑、资金获取。

Fuyong Xu|Yixin Fu|Lei Guo|Yuhan Zhang|Zhenfang Zhu|Peiyu Liu