用于多模态序列推荐的跨模态对齐与时间门控混合专家模型

《Big Data and Cognitive Computing》：Cross-Modally Aligned and Temporally Gated Mixture of Experts for Multimodal Sequential Recommendation

　　

摘要

多模态序列推荐通过引入文本和图像等辅助信息，缓解了基于物品ID的模型中语义不足和数据稀疏的问题。然而，多模态系统不仅面临特征空间异质性和模态特定噪声的双重挑战，还面临用户兴趣随时间动态演进的问题。现有方法仍难以同时处理跨模态对齐和时间感知偏好建模。为应对这些挑战，我们提出了一种具有跨模态对齐和时间门控的多模态序列推荐框架，该框架利用物品ID、文本和图像模态来捕捉用户的动态兴趣。所提出的模型包含三个核心组件。第一，一个跨模态对齐混合专家模块，通过专用专家保留模态特定特征，通过共享专家捕捉共同语义，从而缓解直接融合固有的语义不匹配问题。第二，一个分层时间感知混合专家模块，使用短期区间、长期跨度和周期性时间编码进行专家路由，并应用时间感知模态门控机制，在不同时间上下文中自适应调整ID、文本和图像模态的重要性。第三，一个序列兴趣对比学习目标，通过动态温度缩放、多尺度正样本、困难负样本挖掘和多样性正则化，增强基于ID的序列兴趣表示的判别性。在游戏、美妆和玩具数据集上的实验表明，所提方法在归一化折损累计增益（NDCG）@5、NDCG@10、平均倒数排名（MRR）@5和MRR@10指标上，始终优于代表性的序列推荐和多模态推荐基线方法。此外，消融实验验证了所提各组件的有效性。