用于冷启动推荐的具有检索语义的大语言模型

《Neural Networks》：Large Language Model with Retrieval Semantics for Cold-Start Recommendations

　　摘要：物品冷启动问题仍是推荐系统面临的重要挑战。现有方法存在三方面局限：新物品因不在预训练语料库中而产生的语义偏差、物品属性有限导致的语义稀疏性，以及缺乏交互数据所造成的行为差异。为解决这些问题，我们提出了一种名为“带检索语义的大语言模型”（LaReS）的方法。首先，为减少语义偏差，我们引入了自检索上下文化机制，通过检索语义相似的已有物品作为辅助知识源，使新物品能够依托可靠的上下文，从而从已有物品的特征中推断出更准确的属性。其次，为弥补语义稀疏性，我们设计了基于大语言模型的语义编码策略，将扩展后的文本信息转化为密集的、针对特定任务的嵌入向量。通过使用冻结状态的大语言模型与可训练的语义层，可以捕捉到超越简单元数据的深层语义特征。最后，为填补交互数据缺失的空白，我们采用多目标优化框架实现联合偏好学习，从已有物品中提取偏好信号并调整潜在分布，从而使新物品能够获得与已有物品相当的可见度。实验结果表明，LaReS在冷启动场景及整体推荐效果上均表现出优异性能，例如在MovieLens数据集上，其P@5指标提升了7.98%。相关代码可在https://github.com/wuzelong/LaReS获取。

引言：推荐系统已成为现代数字生活的重要组成部分，帮助用户筛选海量内容并发现相关信息（Raza等，2026；Shi等，2025）。这类系统被广泛应用于电子商务（Zou等，2026）、社交媒体平台（Pan等，2026）以及医疗健康领域（Li等，2026）。在该领域长期存在的难题之一便是物品冷启动问题（Kim等，2025），即当新物品被引入平台时缺乏交互数据（Chen等，2025）。在快速发展的行业中，这一问题会使得新物品的推荐变得困难，进而影响平台的收入与用户满意度（Zheng等，2021）。尽管已有诸多研究进展，但现有方法仍存在明显局限性，如图1所示。首先，物品语义可能存在偏差——当新物品不在大语言模型的预训练语料库范围内时，模型可能缺乏关于这些物品的事实性知识（Zhang等，2025），从而导致其对新物品的描述出现错误或偏差。其次，物品语义往往较为稀疏，许多推荐系统仅依赖标签等基本元数据（Liang等，2025），而这类语义属性的实际可用性往往受到限制，尤其是对于新物品而言（Liu等，2024c）。最后，新物品缺乏用户交互记录，这种行为差异使得它们无法与用户的偏好相匹配（Yin等，2025）。

本文提出了LaReS方法，通过以下创新举措来解决上述问题：首先，通过自检索机制减少语义偏差，为新物品提供明确的上下文参考，利用语义相似的已有物品作为辅助知识源，帮助模型从类似案例中推断新物品的属性，从而降低错误解读的风险。其次，借助大语言模型增强物品语义，利用自检索机制生成的丰富上下文，通过冻结状态的大语言模型将扩展后的文本信息转化为密集的语义嵌入向量，再通过可训练的语义层将其映射到推荐系统的潜在空间，从而捕捉到超越简单元数据的深层语义特征。最后，通过多目标优化实现用户偏好对齐，利用相似度损失函数从已有物品中提取偏好信号，并结合对抗性损失函数，促使模型生成的新物品嵌入向量在预测的交互模式上与已有物品无显著差异，从而有效提升新物品的可见度。

本文的主要贡献如下：首先，我们提出了一种自检索增强框架，为大语言模型提供领域特定的上下文支撑，有效弥补新物品的知识缺口；其次，我们设计了一种语义增强策略，将通用世界知识转化为特定任务的嵌入向量，丰富新物品的有限属性信息；再次，我们提出了多目标优化方法，通过调整冷启动物品与已有物品的潜在分布，即便在缺乏交互数据的情况下也能实现有效的推荐；最后，实验结果表明，LaReS在冷启动场景及整体推荐效果上均优于现有主流方法。

章节节选：冷启动与零样本推荐：物品冷启动问题的产生源于新物品缺乏交互信号（Du等，2023），这种历史关联的缺失限制了协同过滤模型学习有效物品表示的能力（Chen等，2025）。现有方法通常采用基于内容的策略来解决这一问题，通过从元数据中提取语义特征来弥补行为数据的不足（Su等，2026）。例如DropoutNet（Volkovs等，2017）通过随机方式...

问题定义：本节介绍相关符号并明确研究问题。表1汇总了全文中使用的主要符号：U表示用户集合，I表示物品集合，H表示历史交互记录集合。若用户u∈U曾与物品i∈I发生过交互，则记为(u,i)∈H，否则记为(u,i)?H。对于每个用户u∈U和物品i∈I，分别用uu和vi表示它们的嵌入向量；用户u对物品i的预测推荐分数记为yui，即yui=uu?v。

实验设置：为评估方法的性能与泛化能力，我们在三个来自不同领域（电影、学术文章、书籍）且具有不同稀疏程度的公开数据集上进行了实验，相关数据统计信息见表2。其中MovieLens（Harper和Konstan，2015）是常用的电影推荐基准数据集，其交互数据为用户对电影的评分，物品属性包括标题和类型。

冷启动性能分析：我们首先聚焦方程（4）中定义的冷启动推荐任务，该任务用于评估模型在面对没有历史交互记录的冷启动物品Ic时的排序能力。如表4所示，LaReS在所有数据集上均表现最佳，证明了其在解决交互数据缺失问题上的有效性。例如在MovieLens数据集上，LaReS的P@5指标相比最强基线提升了7.98%，R@5指标提升了12.98%。

整体性能分析：我们进一步评估方程（3）中定义的整体推荐性能，该指标用于衡量模型为每位用户对全部物品集I进行排序的能力。表5显示，LaReS在大多数核心评价指标上表现最优，在更大的截断阈值下也仍保持竞争力。例如在MovieLens数据集上，其P@5、R@5、N@5指标相比第二好的基线分别提升了4.20%、6.68%、4.26%，这些结果表明改进冷启动物品的性能...

消融实验与参数分析：为探究各组件对性能的贡献，我们进行了消融实验，设计了四种LaReS变体进行对比：（1）w/o?LLM，即去掉基于大语言模型的语义增强功能；（2）w/oLbpr，即去掉BPR排序损失函数；（3）w/oLsim，即去掉相似度蒸馏损失函数；（4）w/oLgen，即去掉对抗性对齐损失函数。这四种变体在MovieLens数据集上的整体推荐性能对比结果见图3。

嵌入质量分析：为评估潜在空间的质量，我们采用了基于先前研究（Yu等，2022）的可视化方法，先将学习得到的物品嵌入向量通过t-SNE投影到二维空间，再使用高斯核密度估计（KDE）在R2平面中绘制其空间分布图。为进一步分析方向特性，我们对单位圆S1上的每个点(x,y)计算atan2(y,x)，从而绘制出角度密度分布图。相关可视化对比结果见...

偏好学习分析：为考察用户偏好与物品特征之间的对应关系，我们使用t-SNE对潜在空间进行可视化展示，图中包含了用户嵌入向量、已有物品嵌入向量以及冷启动物品嵌入向量。MovieLens数据集上的可视化结果见图7。我们观察到不同方法对应的潜在空间组织结构存在明显差异，如图7所示，EmbSim和ALDI等基线方法的用户嵌入向量与物品嵌入向量之间存在明显边界，形成了相互分离的簇，而这种隔离现象...

预测模式分析：为评估模型的泛化能力及其对冷启动物品的潜在偏向，我们比较了预测分数的分布情况。我们随机抽取相同数量的已有物品和冷启动物品，再与随机选取的用户配对，计算各自的预测分数。详细的分数分布通过100分箱直方图在图8中展示，而分布差异则通过表6中的KL散度值进行量化。具体而言，我们对已有物品和冷启动物品的分数进行了标准化处理...

统计分析：为验证表7中所示对比结果的统计显著性，我们采用了Friedman检验与Nemenyi事后检验方法（Wu等，2025a；Wu等，2025b）。设Ri表示第i种方法的平均排名，k为对比方法的数量，N为实验案例总数。Friedman统计量服从自由度为k?1的χF2分布，其计算公式为：χF2=12Nk(k+1)(∑i=1kRi2?k(k+1)。

结论：本文提出了LaReS方法，通过解决现有方法存在的三方面局限来应对物品冷启动问题。首先，为减轻大语言模型的语义偏差，我们引入自检索上下文化机制，让新物品的理解依托于语义相似的已有物品的上下文。其次，为解决语义稀疏性问题，我们设计了基于大语言模型的语义编码策略，将扩展后的文本信息转化为密集的、针对特定任务的嵌入向量。最后，为弥补交互数据缺失的缺陷，我们采用多目标优化框架实现联合偏好学习，从而让新物品能够获得与已有物品相当的可见度。

CRediT作者贡献声明：吴泽龙：写作——审阅与编辑、写作——初稿撰写、软件实现、方法设计、概念构思。王东升：研究调查、形式化分析、数据整理、概念构思。王颖：可视化分析、结果验证、研究调查、形式化分析。张瑞：结果验证、研究调查、数据整理、形式化分析。陈丽思：项目监督、资源协调、项目管理、资金申请。韩鹏：写作——审阅与编辑、项目监督、资源协调、项目管理。

利益冲突声明：作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢：本研究得到了国家自然科学基金项目62532007、国家重点研发计划项目2023YFC3305600、NSFC U22B2037以及NSFC U25A20443的支持。

吴泽龙|王东升|王颖|张瑞|陈丽思|韩鹏