重新思考多模态序列推荐中的卷积神经网络

《ACM Transactions on Information Systems》：Rethinking Convolutional Neural Network in Multimodal Sequential Recommendation

多模态序列推荐模型PCMSRec通过大核卷积建模用户交互序列的长程依赖，并利用卷积层架构融合多模态特征，在五个数据集上验证其性能优于现有方法。

　　

摘要

多模态数据能够更全面地反映用户兴趣的变化，因此近年来多模态序列推荐（MSRS）受到了广泛关注。然而，MSRS面临两个关键挑战：（1）如何有效地建模用户交互序列中的长距离依赖关系；（2）如何高效地融合多模态特征。为了解决这些挑战，本文提出了一种基于纯卷积神经网络（CNN）的新型多模态序列推荐架构，称为PCMSRec。PCMSRec包含两个关键创新点：首先，通过使用大核卷积的全局感受野来建模多模态用户交互序列中的长距离依赖关系，突破了现有基于CNN的方法只能捕获局部短距离依赖关系的局限；其次，利用CNN架构的高灵活性，通过精心设计的卷积层架构和融合策略来建模项目多模态特征之间的关系。具体来说，PCMSRec由两个模块组成：序列特征模块和模态模块。序列特征模块通过大核卷积层建模用户交互序列中的长距离依赖关系，并通过引入瓶颈架构来提取项目特征；模态模块则利用多个卷积层来建模多模态特征之间的复杂关系。在五个公开数据集上的实验结果表明，PCMSRec的性能优于现有方法。