基于大语言模型（LLM）的推荐系统中的细粒度偏好优化：采用差异化的令牌权重

《Knowledge-Based Systems》：Fine-Grained Preference Optimization with Differentiated Token Weighting for LLM-based Recommendations

LLM推荐系统细粒度优化方法FGPO通过轻量级MLP动态分配令牌权重，解决传统方法令牌处理均一化和负样本选择受限问题，实验验证其在三个公开数据集上推荐性能显著提升。

　　在当前快速发展的数字技术背景下，推荐系统已成为连接用户与信息的关键桥梁。这些系统不仅能够实时提供用户感兴趣的项目，还有效缓解了信息过载问题，从而在多个领域提升了用户体验。然而，随着大型语言模型（LLMs）的崛起，其在文本理解和推理方面的卓越表现，使研究人员开始探索将LLMs应用于推荐任务的可能性。LLMs以其强大的语言处理能力和广泛的预训练知识，能够更精准地捕捉用户偏好的细微差别，并在推荐过程中提供更具个性化的服务。

尽管LLMs在推荐系统中的应用前景广阔，但在实际操作中仍然面临一些挑战。首先，现有的推荐方法往往忽视了LLM生成过程中令牌级别的特性。LLM输出中的每个令牌在生成响应时所起的作用是不同的，有些令牌可能承载着关键的偏好信息，而另一些则可能是无意义的噪声。因此，如果采用统一的令牌处理方式，可能会稀释关键的偏好信号，进而影响推荐的准确性。其次，现代对齐方法如直接偏好优化（DPO）、优化对齐（ORPO）和简单偏好优化（SimPO）通常依赖于单一的正负样本进行训练，这种做法限制了训练数据的多样性。将复杂的偏好关系简化为二元的胜负对比，忽略了多个被拒绝选项之间的相对质量以及其他合理回复的可能性，从而导致模型在处理新任务时表现受限。

为了解决上述问题，本文提出了一种名为细粒度偏好优化（Fine-Grained Preference Optimization, FGPO）的新方法。FGPO通过令牌级别的优化，使LLMs更好地与推荐任务对齐。具体而言，FGPO引入了一种轻量级的多层感知机（Multilayer Perceptron, MLP）来构建差异化的令牌加权机制，该机制能够根据每个令牌对用户偏好的影响程度动态分配其重要性。此外，FGPO还结合了对比学习的理念，提出了一种多负样本选择方法，通过增强正负样本之间的对比关系，进一步提升模型对偏好信号的识别能力。

为了实现FGPO的优化目标，本文开发了两种具体的优化方法：细粒度直接偏好优化（Fine-Grained Direct Preference Optimization, FGDPO）和细粒度简单偏好优化（Fine-Grained Simple Preference Optimization, FGSimPO）。这两种方法在结构上有所不同，但都基于FGPO的核心思想，即通过令牌级别的加权机制，提高推荐的准确性和多样性。通过在三个真实世界公开数据集上的广泛实验，本文验证了FGPO及其衍生方法在提升LLMs推荐性能方面的有效性。

本文的研究成果主要体现在以下几个方面。首先，我们提出了一种新的方法，用于LLMs推荐中的令牌级别优化，即FGPO。据我们所知，这是首个将细粒度令牌优化应用于推荐任务的工作。其次，我们设计了一种差异化的令牌加权机制，该机制能够更高效地捕捉每个令牌对用户偏好的贡献。通过引入多个负样本，我们进一步增强了模型在区分正负样本时的能力，从而提升了推荐系统的整体性能。最后，我们对FGPO的两个实现方法进行了详尽的评估，结果表明它们在多个数据集上的表现均优于传统方法，为LLMs在推荐任务中的应用提供了新的思路。

在本文的结构安排上，首先回顾了与推荐系统和LLMs相关的研究进展，为后续内容奠定了理论基础。接着介绍了FGPO的基本概念和实现方式，详细说明了其在推荐任务中的具体应用。随后，我们描述了实验设置，包括所使用的数据集和评估指标。通过实验结果的分析，我们探讨了FGPO及其衍生方法在推荐任务中的优势，并进一步揭示了其性能提升的潜在原因。最后，我们对研究进行了总结，并提出了未来可能的研究方向。

实验所使用的数据集包括MovieLens、GoodReads和Electronics三个公开的、具有代表性的数据集。这些数据集涵盖了电影、书籍和电子商务等多个领域，能够全面反映推荐系统的应用场景。每个数据集都包含用户与物品之间的交互记录，以及相应的评分信息。通过对这些数据集的分析，我们能够更好地评估FGPO及其衍生方法在不同场景下的表现。此外，我们还探讨了不同因素对FGPO性能的影响，包括令牌加权机制的设计、负样本的选择方式以及模型训练过程中的超参数调整等。

在实验分析部分，我们针对四个关键研究问题进行了探讨。首先，我们比较了FGPO与传统和现代LLMs推荐方法的性能差异，以验证其有效性。其次，我们分析了FGPO各个组件对模型性能的贡献，包括令牌加权机制、多负样本选择方法以及超参数调整等。第三，我们探讨了影响FGPO效果的关键因素，例如数据集的特性、模型的规模以及训练策略的选择等。最后，我们进一步揭示了FGPO性能提升的内在原因，包括其对用户偏好的精准捕捉能力、对复杂偏好关系的建模效果以及对模型泛化能力的提升等。

通过实验结果的分析，我们发现FGPO及其衍生方法在多个方面均优于传统方法。首先，FGPO能够更精确地捕捉用户偏好的细微差别，从而提高推荐的准确性。其次，通过引入多负样本，FGPO能够增强模型对正负样本的区分能力，使推荐结果更具多样性。此外，FGPO的轻量级设计使其在计算资源上更具优势，能够在保持模型性能的同时降低训练成本。这些优势使得FGPO成为LLMs在推荐任务中应用的一个重要突破。

本文的研究不仅为LLMs在推荐任务中的应用提供了新的方法，也为推荐系统的优化提供了新的思路。通过结合令牌级别的优化和多负样本的选择，我们能够更全面地建模用户偏好，从而提升推荐系统的整体性能。未来，我们计划进一步优化FGPO的实现方式，探索其在更多推荐场景中的应用潜力。同时，我们也希望与更多研究者合作，共同推动LLMs在推荐系统中的发展，使其在实际应用中发挥更大的作用。