利用大语言模型（LLMs）改进序列推荐系统

《ACM Transactions on Recommender Systems》：Improving Sequential Recommendations with LLMs

基于大语言模型（LLMs）的三种正交方法及其混合方案在序列推荐任务中的有效性研究，通过在三个数据集上的广泛实验验证，发现初始化BERT4Rec或SASRec模型使用LLM生成的嵌入可显著提升准确率。同时证实LLMs通过微调不仅能掌握推荐任务，还能部分理解领域概念，且OpenAI GPT的微调效果优于Google PaLM 2。

　　

摘要

在过去的几年中，序列推荐问题引起了大量的研究关注，从而催生了众多推荐模型的出现。在这项工作中，我们探讨了大型语言模型（LLMs）如何被用于构建或改进序列推荐方法。目前，LLMs在许多基于人工智能的应用中发挥着颠覆性的作用。具体而言，我们设计了三种正交的方法及其组合，以不同的方式利用LLMs的强大功能。此外，我们通过关注每种方法的技术细节并确定每种方法的多种替代方案来研究其潜力。我们在三个数据集上进行了广泛的实验，尝试了多种配置，包括不同的语言模型和基线推荐模型，以全面了解每种方法的性能表现。

我们的研究发现，使用从LLM获得的嵌入来初始化先进的序列推荐模型（如BERT4Rec或SASRec）可以在准确性方面带来显著的性能提升。进一步的研究表明，对LLM进行微调使其不仅能够学习推荐任务，还能在一定程度上理解该领域的概念。我们还发现，对OpenAI GPT进行微调比对Google PaLM 2进行微调能够获得更好的性能。总体而言，我们的实验表明，在未来的推荐方法中利用LLMs具有巨大的潜在价值。我们公开分享了实验的代码和数据，以确保实验结果的可重复性。