基于LLM增强的多模态融合技术在跨领域序列推荐中的应用

《Expert Systems with Applications》：LLM-Enhanced Multimodal Fusion for Cross-Domain Sequential Recommendation

跨领域序列推荐模型LLM-EMF通过大语言模型增强文本信息与多模态融合，结合分层注意力机制平衡领域偏好，在电商数据集上显著优于基线方法。

　　

吴王宇|陈振宏|张文桥|宋思琪|邱向林|黄晓伟|马飞|肖志敏

西安交通大学-利物浦大学，中国苏州

摘要

跨域序列推荐（CDSR）通过利用多个领域中的历史交互来预测用户行为，同时捕捉序列内和序列间的项目关系。为了进一步提升视觉和文本数据的价值，我们提出了LLM-EMF这一创新方法，该方法结合了大语言模型（LLM）来丰富文本数据，并通过融合视觉和文本信息来提升推荐性能。此外，还设计了一种多注意力机制来共同学习单域和跨域偏好，有效捕捉复杂的用户兴趣。在四个电子商务数据集上的评估表明，LLM-EMF在建模跨域用户偏好方面优于现有方法，突显了多模态集成在序列推荐系统中的优势。

引言

序列推荐（SR）已成为一种广泛采用的方法，通过分析历史交互序列来建模动态用户偏好（He, Kang, & McAuley (2017a); He & McAuley (2016); Li et al. (2017); Shani, Heckerman, & Brafman (2002)）。虽然SR能够有效预测单一领域内的下一个项目，但它存在数据稀疏性和领域偏见的问题，即有限的交互数据和对特定领域模式的过拟合阻碍了泛化能力。跨域序列推荐（CDSR）（Cao, Cong, Sheng, Liu, & Wang (2022); Guo et al. (2021); Jiang et al. (2023); Lei et al. (2021); Li et al. (2022); Ma et al. (2019); Zhuang et al. (2020)）通过利用多个领域中的用户行为来解决这些挑战，实现了知识转移和对用户兴趣的更全面建模。然而，现有的CDSR方法仍面临三个关键限制：（i）它们主要关注领域内的依赖性，未充分探索领域间的关系；（ii）它们没有充分利用图像和文本等多模态信息；以及（iii）即使是基于LLM的方法（Wei et al. (2024)也很少考虑跨域偏好建模中的领域不平衡问题。图1展示了传统CDSR与我们的方法之间的区别。

为了解决这些不足，我们提出了基于LLM的增强型多模态融合跨域序列推荐（LLM-EMF），这是一个新的框架，它结合了提示设计的大语言模型（LLM）增强、多模态融合和领域平衡的层次注意力。与LLMRec（Wei et al. (2024）不同，后者在增强文本特征时没有明确缓解领域不平衡问题，而LLM-EMF通过LLM提示生成与领域无关的语义属性，以增强跨域对齐。与IFCDSR（Wu et al. (2025b)相比，后者融合了图像和ID嵌入但缺乏明确的文本增强，我们的框架统一了视觉、文本和基于ID的嵌入。与MAN（Lin et al. (2024)不同，后者应用了混合注意力但没有平衡领域贡献，我们的层次注意力机制明确调节了领域影响，防止高频领域主导推荐结果。据我们所知，LLM-EMF是第一个系统地将LLM生成的文本知识与多模态融合和明确的领域平衡相结合的CDSR框架。

我们的主要贡献如下：

• •
  我们设计了一种基于提示的LLM增强
  策略，生成额外的与领域无关的文本属性，从而提高领域间的语义对齐。

•

我们提出了一种多模态融合框架

，通过层次注意力机制共同建模视觉、文本和ID嵌入，同时捕捉领域内和领域间的偏好，并缓解领域不平衡问题。

•

我们在四个重新组织的电子商务数据集上进行了广泛的实验，证明LLM-EMF在所有评估指标上均优于最近的最新基线方法（Lin et al. (2024); Wu et al. (2025b）。

章节摘录

序列推荐

序列推荐（Cai, Wu, Chai, & Zhang (2024); Liang, Kong, Lei, & Li (2025); Wang et al. (2019); Wu et al. (2025a)将用户行为建模为一系列时间敏感的项目，旨在根据历史交互预测下一个项目。早期的方法，如FPMC（Rendle, Freudenthaler, & Schmidt-Thieme (2010)）使用了一阶马尔可夫链来建模时间依赖性。随着行为复杂性的增加，深度学习模型（RNNs（Chung, Gulcehre, Cho, & Bengio (2014)）被广泛应用。

问题表述

在CDSR任务中，用户交互序列发生在领域X和领域Y中，它们的项目集分别表示为$X$和$Y$。让$S$表示用户按时间顺序的总体交互序列，该序列由三个子序列组成：$(S^X,S^Y,S^{X+Y})\in S$。具体来说，让$S^X=[x_1,x_2,,x_{\left|S^X\right|},x\in X$和$S^X=[x_1,x_2,,x_{\left|S^X\right|},x\in X$

实验

在本节中，我们介绍了实验设置，提供了数据集、评估指标和实现细节的详细描述。然后，我们将我们的方法与Amazon数据集（Wei et al. (2021)上的现有方法进行了比较。最后，我们进行了消融研究以验证所提出方法的有效性。

数据集和评估指标。我们的实验是在Amazon数据集（Wei et al. (2021)上进行的，该数据集是构建

结论

在这项研究中，我们提出了一个名为LLM-EMF的新框架，用于跨域序列推荐。与仅关注用户交互序列内时间模式的传统方法不同，我们的方法利用LLM知识来丰富文本信息，同时利用CLIP模型的强大视觉和文本理解能力来整合多模态表示。具体来说，我们设计了提示来结合标题和领域信息。

CRediT作者贡献声明

• •
  吴王宇：概念化、方法论、软件、实验、数据策划、写作——原始草稿。
• •
  陈振宏：资源、软件、验证、写作——审阅与编辑。
• •
  张文桥：形式分析、可视化、写作——审阅与编辑。
• •
  宋思琪：数据策划、实验。
• •
  邱向林：数据策划、实验。
• •
  黄晓伟：监督、方法论、写作——审阅与编辑。
• •
  马飞：监督、项目管理、写作——审阅与编辑、资金获取。
• •

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。