利用图变换器统一孤立进程以提升多模态推荐效果

《ACM Transactions on Recommender Systems》：Unifying Isolated Processes for Enhanced Multi-modal Recommendations Using a Graph Transformer

个性化多模态推荐系统存在特征提取与模态编码孤立问题，影响推荐效果。本文提出UGT模型，采用多-way transformer统一处理多模态特征，通过图神经网络融合用户和商品表征。实验表明在三个基准数据集上相比13种方法提升最高13.97%，有效改善模态融合与冷启动问题，并在跨域场景中表现优异。

　　

摘要

随着在线多媒体服务的快速发展，尤其是在电子商务平台上，迫切需要能够有效编码与每个商品相关联的多样化多模态内容的个性化推荐系统。然而，我们认为现有的顶级$k$多模态推荐系统通常采用孤立的过程来进行特征提取和模态编码。这种孤立的过程可能会损害推荐效果。首先，孤立的提取过程低估了有效特征提取在多模态推荐中的重要性，可能会引入不相关的信息，这对商品表示不利。其次，由于每种模态都是单独处理的，孤立的模态编码过程会产生不连贯的商品模态嵌入，从而导致用户/商品表示的融合效果不佳，从而无法准确预测用户偏好。我们假设，使用一个统一的模型来解决上述两个孤立过程的问题，将能够实现多模态特征的一致提取和有效融合，从而提高多模态推荐系统的效果。在本文中，我们提出了一种新的模型，称为统一多模态图变换器（UGT）。该模型首先利用多路变换器从原始数据中提取对齐的多模态特征，用于顶级$k$推荐。随后，我们在UGT模型中构建了一个统一的图神经网络，以融合来自多路变换器输出的多模态用户/商品表示。通过使用UGT模型的图变换器架构，我们证明了UGT模型在联合优化常见推荐损失函数时能够显著提高推荐效果。我们在三个基准数据集上的广泛实验表明，我们提出的UGT模型始终优于13种强大的推荐方法（从成熟的方法到最先进的方法），其性能提升达到了13.97%。此外，我们还证明了UGT通过显著提高每种模态在多模态推荐任务中的贡献，有效增强了模态融合效果。我们还展示了UGT如何利用其预训练的多模态知识作为辅助信息，来提升新用户的推荐性能。最后，我们通过一个案例研究说明了我们的UGT模型如何比表现最好的基准模型FREEDOM更有效地为用户推荐更有用且语义相关的内容。最后，我们证明了UGT在微视频推荐场景中展现了出色的跨领域推荐能力。