全栈优化的大型语言模型，用于推荐系统中终身序列行为的理解

《ACM Transactions on Recommender Systems》：Full-Stack Optimized Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation

本文针对大语言模型（LLMs）在推荐系统中存在的长期序列行为理解不足的问题，提出ReLLaX框架。该框架从数据、提示和参数三方面优化：设计SUBR降低行为序列异质性，通过SPA整合推荐知识到提示，利用CFLoRA增强LoRA的交互能力。实验表明ReLLaX显著优于基线模型，有效缓解LLMs的长期序列行为理解难题。

　　

摘要

随着大型语言模型（LLMs）在自然语言处理（NLP）领域取得显著成就，基于LLM的推荐系统受到了广泛关注，并且目前正在积极开发中。在本文中，我们专注于调整和优化大型语言模型以用于推荐任务。首先，我们识别并阐述了LLMs在推荐场景中面临的“终身序列行为理解问题”，即LLMs无法从用户行为序列的纯文本上下文中有效提取有用信息，即使上下文的长度远低于LLMs的处理能力限制。为了解决这一问题并提升LLMs的推荐性能，我们提出了一个新框架——Retrieval-Enhanced Large Language Models Plus（ReLLaX），该框架从数据、提示和参数三个层面提供了全面的优化方案。在数据层面，我们设计了语义用户行为检索（SUBR）机制来减少行为序列的异质性，从而降低LLMs提取关键信息的难度。尽管SUBR可以提高数据质量，但序列长度的进一步增加仍可能导致异质性增加，使得LLMs无法再理解这些序列。因此，我们进一步提出了提示层面和参数层面的优化方法，并结合了传统的推荐模型（CRMs）。在提示层面，我们采用了软提示增强（SPA）技术，将CRMs中的协同知识明确地融入到提示中，使LLMs对物品关系的理解更加准确。在参数层面，我们提出了完全交互式的LoRA（CFLoRA）模型，通过增强LoRA原子组件之间的交互性，提升了模型的表达能力，使其能够更有效地捕获序列信息。此外，我们从综合和分解的角度对比了现有的基于LoRA的LLM4Rec方法，理论证明这些方法实际上是对我们提出的CFLoRA的简化版本，只是对原子组件交互施加了不同的限制。通过在三个真实世界数据集上的广泛实验，我们证明了ReLLaX相较于现有基线模型的优越性，以及其在解决“终身序列行为理解问题”方面的有效性。我们的代码已公开发布。