MCD4SR：结合模态平衡的多模态协作去噪技术，用于序列推荐系统

《Knowledge-Based Systems》：MCD4SR: Multimodal collaborative denoising with modality balancing for sequential recommendation

　　

张欣|陈银卓|王世刚|王东晶|王洪波|夏英杰|牛思杰|黄布田|尹玉玉

摘要

多模态序列推荐方法结合了文本和图像等内容特征，以缓解项目ID稀疏性问题并捕捉用户的细粒度偏好。然而，现有方法仍面临两个主要挑战：（1）多模态内容中的噪声和无关信息会降低用户偏好建模的准确性；（2）不同模态之间的学习动态不平衡，强势模态主导了优化过程，阻碍了较弱但互补模态的有效整合。为了解决这些问题，我们提出了基于模态平衡的多模态协作去噪方法用于序列推荐（MCD4SR）。具体而言，我们设计了一个多模态感知的协作去噪模块，通过双向跨模态注意力和模态特定的因果序列建模共同抑制模态特定噪声。此外，我们引入了一种基于熵平衡正则化和排名反馈得出的理想权重监督的一致性学习策略，以保持模态权重之间的多样性并减轻强势模态的过度主导。我们还引入了预测层的跨模态一致性约束，以促进不同模态之间的语义对齐。在四个真实世界数据集上的广泛实验表明，所提出的MCD4SR始终优于现有最先进方法。代码可在以下链接获取：https://github.com/Emy-cv/MCD4SR。