CROSS：面向反馈的多模态动态对齐在推荐系统中的应用

《ACM Transactions on Recommender Systems》：CROSS: Feedback-Oriented Multi-Modal Dynamic Alignment in Recommendation Systems

多模态推荐系统中提出CROSS框架，通过动态项级对齐、多粒度协同对齐等创新，解决FETTLE的一-way对齐适用场景及协同信号融入问题，实验表明在CF和MRS任务中性能提升达3.82%-70.78%。

　　

摘要

在多模态推荐系统中，对齐多模态内容和ID嵌入至关重要。现有的解决方案通常采用双向对齐范式。我们之前的工作FETTLE通过提出在项目级别进行单向对齐的方法，挑战了这一范式，从而减少了低质量模态的负面影响。然而，FETTLE仍留下了两个未解决的问题：（1）何时采用单向对齐最为合适；（2）如何结合协同信号来增强对齐效果？我们提出了CROSS（面向协同的多模态对齐推荐系统），这是一个即插即用的框架，它在FETTLE的基础上引入了三项重大改进。首先，我们引入了动态项目级对齐机制，该机制通过基于方差的补偿机制动态调整每种模态的“强度”，从而降低在训练初期较弱模态被掩盖的风险。其次，我们开发了多粒度协同对齐方法，该方法基于具有相似用户反馈特征的相邻项目来制定中等粒度的对齐策略。这种邻居级对齐有效平衡了用户交互中的噪声和项目间的过度平滑现象。最后，我们在更多真实世界数据集上进行了广泛实验，结果表明：CROSS显著提升了协同过滤（CF）模型和多模态推荐（MRS）方法的性能，在CF模型上平均提升了21.52%–70.78%，在MRS模型上提升了8.70%–20.73%。与FETTLE相比，CROSS进一步提升了3.82%–5.24%的性能。