《Applied Sciences》:Grounding Techniques in LLM-Based Recommender Systems: A Systematic Literature Mapping
摘要:大语言模型(Large Language Models, LLMs)的集成正在变革推荐系统,为其提供了前所未有的复杂推理与自然语言生成能力。然而,这些模型易于产生幻觉(hallucinations),即生成不正确或虚构的信息,这损害了系统的可靠性与用户信任,限制了其在关键领域的应用。接地技术(grounding techniques)通过将LLM的输出链接到外部可验证的知识源,正成为一种基础性的解决方案,但该领域的研究文献仍较为零散。本研究旨在开展系统性文献映射,以刻画并结构化应用于基于LLM的推荐系统中的接地技术知识。遵循PRISMA协议进行了系统性文献映射,对七个学术数据库的检索获得了初始语料库共1669篇文献。在应用纳入与排除标准后,最终选定并分析了57篇主要研究。分析显示,检索增强生成(Retrieval-Augmented Generation, RAG)是最广泛使用的接地技术(占比29.5%),表明研究者明显倾向于采用将LLM推理与知识存储解耦的架构。在技术层面观察到一种分叉现象:专有模型如GPT系列(占比37.2%)与开源模型如LLaMA(占比24.8%)并存。这些系统的应用正从电子商务扩展到高度关键的领域,如医疗保健和金融。基于研究结果,研究人员提出了一种多维分类体系,用于按架构范式、数据源、底层机制和干预阶段对接地技术进行分类。接地机制的频繁采用表明,其正从一项可选改进转变为基于LLM的推荐系统中高度优先级的架构组件。
1. 引言
近年来,生成式人工智能领域经历了指数级增长,这主要得益于大语言模型(LLMs)的开发与采纳,预计到2030年将有超过75%的公司运营基于LLM的系统。LLMs在自然语言生成、复杂推理和数学问题求解方面展现了卓越能力。代表性模型,如GPT、LLaMA、Gemini和Claude,在从对话交互到专业数据分析等广泛任务中表现出色。
然而,尽管取得了进展和能力提升,LLMs仍存在局限性,包括知识过时、上下文窗口有限、感知能力不足以及幻觉等问题。正是最后一个问题表现为模型生成看似连贯合理但实际不正确、虚构或无意义的信息。在技术层面上,幻觉对应于生成不存在的模式或实体,这会损害结果的可靠性并在敏感应用中带来风险。
LLMs被探索应用的领域之一是推荐系统,这类系统受益于模型处理大量数据和提取细粒度复杂模式的能力,从而生成高度个性化的推荐,以及对用户偏好的深入理解和交互式对话推荐。在此背景下,信息的准确性和事实性至关重要。因此,LLMs中的幻觉可能导致推荐不存在的产品、虚构不现实的特性或生成无现实依据的元素。这些错误不仅降低了系统的实用性,还削弱了用户信任,使得缓解幻觉成为将LLMs集成到推荐系统中的优先技术挑战。
缓解LLMs中幻觉相关的风险是当代研究的重点。为了同时利用这些模型的个性化能力,科学界专注于开发接地技术,这些技术依赖于可靠的外部数据源,如结构化数据库、知识图谱或检索到的文档。这确保了生成的响应准确、相关、最新且可引用,从而通过将其锚定在可验证信息中来降低幻觉的发生率。因此,将接地技术融入推荐系统代表了一个新兴趋势,由人工智能研究的指数级增长所驱动。然而,该领域的现有文献高度碎片化,涌现出多样化的方法、架构和应用领域。
此外,当前语料库中对“接地”的概念定义异常宽泛。虽然其严格含义是在推理时将LLM输出链接到外部可验证事实(例如通过RAG),但研究者经常将其与模型适应和对齐技术混淆。解决这种碎片化和术语歧义凸显了对二次研究的需求,以系统地梳理现有科学语料库。因此,本研究分析了现有文献并提出了一种分类体系,对这些多样化方法进行分类,同时清晰地将真正的事实接地与行为和上下文锚定区分开来。
针对这一需求,本研究的主要目标是绘制基于LLM的推荐系统中使用的接地技术图谱,并通过一种分类学提议来结构化现有知识,识别技术工具、数据源和重复出现的架构模式。这样做的目的是识别当前研究空白,并为指导该领域的未来发展奠定概念基础。
最后,尽管已有若干综述考察了基于LLM的推荐系统的整体格局,但它们主要侧重于按适应范式或功能对模型进行分类。这些研究承认幻觉是一个挑战,但未能系统性地分析该问题及其解决方案。本文通过进行首次专门聚焦于接地技术的系统性文献映射来填补这一空白。因此,其主要贡献是一种概念工具,为一个新兴的研究领域带来了秩序、清晰度和统一结构,为开发更可靠、更准确的推荐系统奠定了基础。通过提供这一框架,该研究不仅综合了当前知识,还为未来研究奠定了基础,使得能够对方法进行更严格的比较,并突显了创建更可靠、值得信赖且事实准确的推荐系统的清晰路径。
2. 相关工作
LLMs的最新发展已影响到多个领域,包括推荐系统。然而,这一进展并未在可用的二次研究数量上得到成比例反映。现有的少数综述主要集中在综合相关领域的最新现状,而未涉及诸如接地技术等基本方面。因此,在系统化连接LLMs与外部知识源的方法方面仍存在空白,这对于提高生成推荐的准确性和事实性非常重要。
Zhao等人提供了总体概述,按预训练、微调和提示的模型适应范式组织了文献。他们的工作深入探讨了LLMs如何处理文本信息和用户-物品交互,突出了其泛化和推理能力。同样,Wu等人提出了一种分类法,将该领域划分为判别式LLMs和生成式LLMs。尽管这些研究系统化了这些模型如何处理分类和生成任务,但它们对外部知识连接的分析仅限于将幻觉识别为一项技术挑战,而未深入探讨接地解决方案的分类。
Elmoghazy等人指出了传统推荐系统的局限性,强调了LLM预训练目标与推荐任务特定要求之间的脱节。他们的研究提出了对该领域LLM适应方法的比较分析,并提出了一种按模型功能角色、所用学习范式和系统架构对方法进行分类的分类法。然而,他们强调,这些模型尚未完全取代工业环境中的传统方法。
Smaji?等人则从更广泛的技术角度解决了这个问题,突出了LLMs在社交和商业应用中日益增长的参与度。他们的分析识别出持续的挑战,包括对结构化数据格式的敏感性、产生幻觉的趋势以及推荐系统中的流行度偏差。作者得出结论,诸如检索增强生成和知识图谱集成等技术提高了推荐的事实准确性。
Said则将分析重点放在推荐系统背景下LLMs的可解释性上。他的研究表明,这些模型可以生成自然语言的个性化理由。此外,用户越来越偏好附带直观解释的推荐。
与回顾的背景不同,本研究开展了一次专门针对基于大语言模型的推荐系统中应用的接地技术的系统性文献映射。虽然先前的文献优先考虑了幻觉识别、模型训练以及结构和半结构化数据处理等方面,但本研究的独特之处在于分析了将LLMs链接到外部知识源以优化推理的事实性和准确性的机制。
因此,这项工作通过一种分解知识源、集成架构和应用领域的分类法,为该领域的结构化做出了贡献。这种方法解决了关于缓解推荐系统中幻觉和数据过时问题的技术策略方面的现有知识空白。
3. 系统性文献映射规划
系统性文献映射是一种在特定领域内结构化和分类现有知识的方法论,从而识别趋势和前沿空白,为未来的研究方向提供信息。鉴于此,本次系统性文献映射分析了集成了接地机制的LLM驱动的推荐系统生态系统。该研究深入探讨了新兴技术和架构的特征、外部知识源的整合以及这些技术的分类学。它还评估了它们在各个领域的实施情况,以优化生成推荐的质量、可解释性和事实性。
在本研究中,研究人员应用了PRISMA协议的改编版,该协议因其在确保综述质量和透明度方面的有效性而受到认可,它提供了所用方法和所得结果的详细信息。此外,还纳入了Petersen等人提出的指南,作为指导审查过程并确保各阶段一致性的方法论框架。
系统性文献映射的结构分为三个主要阶段,遵循PRISMA协议:识别、筛选和选择相关研究。此外,还实施了Petersen等人描述的具体活动,范围从定义研究问题、搜索主要研究、使用纳入/排除标准审查研究、对研究进行分类,到提取和映射收集的数据。在每个阶段,都产生了相关贡献,为下一阶段奠定了基础,从而实现了一个系统、可复制的方法论流程。
Parsifal工具被用于管理系统性文献映射过程,因为它被认为是组织和指导其不同阶段的重要资源。同样,在R环境中使用了dplyr库来生成图表并进行探索性分析,而Google Sheets则为数据表示和管理提供了额外支持,促进了结果的系统化和可视化。
3.1. 研究问题的定义
本研究制定的研究问题旨在描绘和结构化基于LLM的推荐系统的接地技术领域。这些问题有助于识别技术工具、重复出现的架构模式和特定的应用领域,从而理解该领域的科学语料库和新兴趋势。文中表格展示了研究问题及其动机,构成了指导审查过程的方法论框架。
3.2. 搜索策略的制定
在系统性文献映射的背景下,搜索策略是一种方法学协议,旨在确保在特定领域内详细识别相关的学术成果。该协议旨在最小化偏差并确保审查过程的可重复性。为此,它包括待查询数据库和学术仓库的定义,以及构成搜索字符串的关键词和布尔运算符的选择。这些措施缩小了搜索范围,并确保获得的结果能代表性地反映研究领域的最新状态。
3.3. 朴素搜索
在第一阶段,进行了一项探索性搜索,以识别可能对信息检索策略相关的术语。为此,使用R库litsearchr执行了朴素搜索,该库旨在促进搜索策略的客观和可重复开发。该工具利用文本挖掘技术和共现网络分析来检测初始语料库中的词汇模式和语义关系。初步搜索涵盖了50项关于推荐系统中接地技术的研究。从这些文档中,该工具提取了相关词语并识别出最频繁的术语。这些被视为领域代表性术语的词语被纳入后续应用于科学数据库的搜索字符串中。
3.4. 搜索策略的定义
在正式搜索阶段,基于Litsearchr的结果构建了一个搜索字符串,并辅以同义词和PICO标准,从而以结构化方式组织概念,并实现对研究领域相关元素的详细覆盖。该搜索字符串应用于公认在工程系统综述中有用的数据库,包括ACM Digital Library、IEEE Xplore、ScienceDirect、Scopus、Web of Science、Dimensions和The Lens。需要注意的是,对于ScienceDirect,存在技术限制,将最大接受术语数限制为8个。在所有数据库中,搜索均在标题、摘要和关键词中进行,但上述限制除外。此外,为适应ScienceDirect将查询限制为最多八个术语的技术限制,针对该特定数据库使用了经过调整的高度聚焦的搜索字符串:“grounding” OR “RAG”)AND(“Large language model” OR “LLM”)AND(“recommender system” OR “recommendation system”)。最后,该策略辅以在Google Scholar中的手动搜索,以识别自动查询可能未检索到的其他相关文章。所有研究均在一个截至2025年12月的时间窗口内收集,对出版年份无特定限制。
3.5. 选择主要研究的方法论
使用纳入和排除标准来选择用于系统性文献映射的主要研究。这些标准是学术界广泛接受的方法论工具,因为它们允许评估研究是否适合纳入审查过程的相关性和有效性。只有当一项研究满足所有既定的纳入标准时,才被认为合适。反之,任何满足至少一条排除标准的研究将被自动剔除。将先前定义的搜索策略应用于数据库,得到了初步选择。在此阶段,对检索到的文章的标题和摘要应用了纳入和排除标准。这项初步评估是独立进行的,以最小化偏差并确保排除不符合指定参数的研究。随后,对全文文章进行了详细评估。对照既定标准对每项研究进行了深入分析,从而能够更准确地评估其相关性。最后,系统性地应用了质量标准,以评估所选研究的相关性和严谨性。每个标准都使用三分制对每篇全文文章进行评估。研究需要达到最低分数阈值才能被纳入最终的综合分析。这种对质量标准的定量应用确保了所选的主要研究经过严格的识别和评估,防止低质量或方法模糊的研究扭曲分类法,并使得能够提取相关可靠的信息来解决研究问题。
4. 执行阶段
在执行阶段,系统地实施了方法论过程前几个阶段定义的所有步骤,以指导审查。此阶段分为三个子阶段,并由Parsifal这一专门工具提供支持,用于审查过程的行政和技术管理。第一阶段对应识别阶段,使用Litsearchr工具和PICOC标准构建了搜索字符串。该字符串应用于各种书目数据库,最初共获得1669条记录。在进行筛选之前,消除了687条重复记录,当出现重复时,优先保留引用索引最高或可访问性最佳的记录。结果形成了一个包含982份独特文档的集合。第二阶段称为筛选,包括评估剩余982份文档的标题、摘要和关键词。为确保方法论的严谨性并减少偏差,筛选过程由两位审稿人独立进行。在此过程中,独立应用了初步的纳入和排除标准,以最小化偏差并确保排除不符合指定参数的研究。关于纳入或排除某篇文章的任何分歧都通过正式的内部讨论以达成共识来解决。在无法达成共识的情况下,由第三位审稿人担任仲裁者做出最终决定。在第三阶段,即纳入阶段,对选定的88篇文章进行了全文阅读。应用纳入和排除标准后,有31篇文档因具体原因被丢弃,例如缺乏接地技术的应用、缺乏对推荐系统的关注、非基于大语言模型或不属于原始研究。结果,57篇文章被接受为主要研究。最后,对这57篇文档进行了数据提取和编码,以回答研究问题并开发所提出的分类法。分类类别是通过迭代的主题综合得出的:基于初步阅读中发现的最突出技术建立了初始编码框架,随着全文审查中出现新的架构模式,该框架不断被细化、合并和扩展。为确保分类一致性,数据提取和编码由两位研究人员使用Parsifal工具内的标准化数据提取表独立进行。鉴于该领域的复杂性,模棱两可或多类别的情况通过设计正交、非互斥维度的分类法来处理,允许单一技术跨多个轴进行映射,而无需强制进行人为或限制性的分类。提取数据或编码分类中的任何差异都通过前述的共识和仲裁协议进行交叉核对和解决。
5. 结果与分析
本节呈现了在指定书目数据库中实施搜索策略的结果分析,从而能够识别、分类和检验在集成LLM的推荐系统中使用的接地技术。该审查依据上述方法论标准进行,从而确保了为本研究选择的来源的有效性和相关性。随后,本节第二部分基于对主要研究的分析,回答了上述研究问题,整合了结果并将经验证据与既定目标联系起来。通过这种方式,提供了一个结构化的综合,有助于理解科学语料库的状态,并界定了该领域未来的研究方向。
5.1. 结果的定量分析
搜索和筛选过程的结果表明,在所有咨询的来源中共识别出1669篇文章。在这组文章中,有57篇文档被归类为主要研究,约占最初纳入语料库总出版物的3.4%。在应用纳入和排除标准期间,925篇科学文档被丢弃,约占已识别研究总数的55%。这种过滤是系统进行的,确保了方法的一致性以及选择过程的有效性。最后,识别出687条重复记录,约占初始科学语料库的41%。去除重复是确保分析完整性并避免因咨询来源冗余而产生偏差的重要步骤。在个体层面,产出主要研究最多的数据库是Scopus和Dimensions AI,其次是The Lens,这表明这些来源是定位关于应用于基于LLM的推荐系统的接地技术的主要研究的主要参考资料库。同样,这三个数据库占重复文章的大约90%,表明在该领域存在高度的内容重叠。相比之下,Web of Science和ScienceDirect的重复数量很少,这与它们通常较低的记录量一致。在性能方面,Scopus占了所选主要研究的近50%,表明大部分相关科学产出都在该数据库中索引。聚合器Dimensions和The Lens共同贡献了44%的主要研究,反映了它们在汇编跨学科文献方面的战略作用。这些资料库在一个快速发展的领域(如将LLMs集成到推荐系统中)发挥着重要作用,能够捕捉可能不会出现在传统数据库中的出版物。相比之下,高度技术性的数据库如IEEE Xplore和ACM Digital Library贡献的主要研究非常少,表明该领域的研究主要通过通用和跨学科的资料库传播,而非专门的软件和硬件工程论坛。最后,总体分析得出结论,该领域的主要研究数量仍然有限,表明这是一个新兴领域。现有的科学文献反映了一个早期的发展阶段,仍需努力巩固方法论框架、扩大实证覆盖范围并加强接地技术在基于LLM的推荐系统中的集成。
5.2. 研究问题的答案
本节呈现了在系统性文献映射中提出的研究问题的答案,从而扩展了在采用接地技术的基于LLM的推荐系统领域的现有知识。
5.2.1. 基于LLM的推荐系统中最常用的接地技术有哪些?
科学语料库揭示了一套多学科的接地技术,这些技术将基于LLM的推荐系统锚定在事实性、领域特定和上下文相关的信息中。尽管所审查的学术文章涵盖了多种多样的实现技术,但从它们的综合中浮现出几种策略。基于对57篇主要研究的多标签编码,报告中各技术所占百分比反映了其在语料库中识别的接地技术实例总数中的比例。总的来说,这些技术可分为RAG及其变体、结构化知识库的集成特别是知识图谱、与外部工具和API的动态交互、专业数据处理与表示方法,以及定制化架构框架的开发。最突出且被广泛采用的技术是RAG,在研究中使用率为29.5%,它已在从医学等高危领域到金融和教育等多个领域展示了其多功能性。通常,RAG遵循检索-读取方法,尽管最近的文献区分了几种实现形式,从基于语义相似性的朴素RAG到结合基于ID的检索器和密集文本检索器的混合方法。然后将这些数据格式化并输入LLM。例如,在GraphRAG和G-CRS系统中,检索朝着多粒度方向发展,捕获路径级别的结构信号和节点级别的语义信息,然后将其转化为自然语言。已经开发了该技术的专门变体来解决推荐中的特定挑战。例如,基于图的RAG和知识图谱RAG已被实施以改善电子商务、娱乐和内容发现中的推荐,利用数据集内的结构化关系。通过这些技术的改进是通过构建节点和关系模板来实现的,这些模板将LLM的范围限制在关于元素的特定知识上。特别是在对话推荐领域,更高级的迭代版本如校正RAG已在Reddit-v2和ReDial等数据集上进行评估,增加了自我反思和修正步骤以提高AI响应的准确性。同样,像TreatRAG这样的专门技术将个性化药物推荐建立在权威医学知识之上。除了RAG范式之外,许多系统依赖于结构化知识的直接集成。知识图谱不仅因其事实准确性而被提出,而且还经常被用来用新信息、情感背景或个人经历丰富LLM生成的响应。同样,还识别出了使用时间戳来指导生成的时序知识图谱变体,以及用情感值丰富的图谱以确保一致的响应。在安全和医疗保健等高度关键的领域,通过向LLMs提供来自临床实践指南等来源的权威结构化知识来实现接地。同样,在教育领域,推荐平台建立在从相关课程要点构建的知识数据库之上,以为学生推荐适当的学习资源。最后,通过使用将自然语言转换为SQL查询的数据库工具实现了接地,从而能够直接访问价格和库存等结构化元数据,这在电子商务等领域至关重要。一种动态的接地方法使LLMs能够通过API与外部工具和上下文信息实时交互。此外,它还扩展到与传统推荐系统的协同合作。这种基于智能体的方法允许系统在做出推荐之前收集情境数据。例如,系统可以调用天气API来推荐服装,调用污染API来推荐环保旅游活动,或者调用多个餐厅API来根据特定标准寻找餐厅。同样,在基于预训练CRS的结构中,LLM充当控制器来过滤候选对象,或者反过来,LLM改进经典模型的语义表示。接地也在表示和训练范式层面深化,这是一个重要的技术领域。为了对齐LLM与推荐模型,采用了词汇扩展技术和对齐损失函数。此外,文献强调了基于强化学习的微调策略,采用特定的奖励模型如概念一致性奖励或高质量对齐。其他框架通过在LLM内模拟辅助任务来编码知识,例如贝叶斯个性化排名或掩码元素建模,从而在推理之前将模型锚定到推荐逻辑。补充性地,在输入数据表示层面实现了接地。多个系统利用文本嵌入,如RoBERTa等模型中的嵌入,将文本特征(如文章标题、描述和客户评论)转换为数学上可管理的格式。同时,通过信息增强和详细的用户画像等技术实现了以用户为中心的接地,这使得LLM能够分析用户的历史交互以创建一个动态画像,作为后续推荐的基础。同样,一些框架如用于旅游推荐系统的SynthTRIPs首先从知识库生成高质量的合成数据,然后用于训练或微调。所审查的文献指向一个不断演进的、旨在支持LLMs的定制化框架和范式生态系统。这些包括BIGRec、用于基于会话推荐的轻量级框架LLM4SBR,以及特定领域的架构如用于技术交易平台的InnoMatch和用于联邦环境中序列推荐的GPT-FedRec。需要注意的是,虽然这些方法起到了事实接地的作用,但“接地”一词在文献中的应用并不统一,因为一些研究将概念上类似的方法称为“信号增强”。除了推荐系统特定的方法论外,来自LLMs通用领域的接地技术也已成功适应于该领域,它们是第二大最常用的技术组,几乎占工作的25%。其中最值得注意的是文本接地,它将抽象标识符转换为语义描述,使模型能够利用其预训练知识在项目之间建立逻辑联系。同样,指令微调通过使用指令-响应对进行微调来提高模型在特定任务上的能力,改善了领域内的执行。在数据表示方面,分词策略通过分配标识符赋予项目语义含义,便于处理。最后,在提示工程中,有两种方法脱颖而出:思维链通过迫使模型在做出推荐之前解释中间推理来减轻幻觉;以及上下文内学习,它允许LLM使用提示中的示例适应新的推荐任务,而无需更新其权重。批判性地看,虽然像提示工程、CoT和指令微调这样的技术在几项主要研究中被归类为接地形式,但它们主要作为对齐和适应策略发挥作用。例如,CoT在逻辑上接地了模型的推理过程,但除非与检索机制配对,否则本身并不提供外部事实证据。因此,文中表格总结了在采用LLMs的推荐系统领域中使用的接地技术及其描述。最后,在总体层面上,该领域采用了一套多样化的工具,主要是RAG和结构化知识集成,以确保LLM生成的推荐不仅流畅合理,而且准确、相关,并与真实世界数据和目标领域约束保持一致。
5.2.2. 在采用接地的推荐系统中使用了哪些聊天机器人或LLM技术?
用于基于接地的推荐系统的聊天机器人和LLM技术格局非常多样化,范围从专有商业模型到开源模型。这些技术服务于多种功能,从充当推荐系统的生成骨干到执行评估、数据注释和特征编码等辅助任务。模型的选择通常取决于推荐框架的具体架构、接地机制的性质以及性能和计算资源之间的平衡。在这方面,OpenAI的GPT系列模型在众多研究提案中占据突出地位,在分析的推荐系统中使用率接近37%。具体来说,这种优势源于特定模型的普及,如GPT-4和GPT-3.5,它们是语料库中使用最广泛的。自回归语言模型GPT-3.5-turbo被广泛用作RecRanker、RecMind和RAMO等系统的骨干,通常因其性能和成本之间的平衡而被选中。它也用于辅助任务,如在G-CRS中进行情感标注和实体提取。较晚的版本如GPT-4代表了更先进的技术,经常被用作自动评判员来评估推荐的质量、对齐和主观性,如SynthTRIPs框架中所见。较早的迭代如GPT-2和GPT-3被用作CLLM4Rec和对话推荐器等框架的参考或基础模型。此外,专门的变体如InstructGPT以其强化学习范式著称,而嵌入模型如text-embedding-ada-002用于生成评论嵌入。其次,Meta Platforms的LLaMA家族是科学语料库中领先的开源技术,在审查的文档中占有24.8%的比例。LLaMA和LLaMA-2是使用最广泛的个体变体。LLaMA-2在各种提案中实现,包括ChatCRS和临床决策支持系统。LLaMA-3因其在隐私和查询生成方面的优势而被用于饮食推荐的RAG框架中。衍生和相关模型也很普遍,如Vicuna、RecLlama和TinyLLaMA。谷歌的架构扮演着重要角色,约占研究的15%,特别是BERT,被广泛用于编码项目内容、概念一致性奖励和意图定位。LLM T5及其指令微调变体FLAN-T5被用于临床环境中的推理任务。高级推理也得到了PaLM 2和Gemini的支持,它们被用于合成查询生成、城市推荐和知识图谱特征提取。此外,各种专门的和区域性的LLMs已被集成到这些系统中。Mistral家族和Qwen家族被用于需要适应性和特定语言能力的任务,在审查研究的经验证据中占6.6%。语料库中发现的其他模型包括用于高级推理的Claude、用于思维链处理的DeepSeek、用于序列推荐对齐的ChatGLM、用于医疗保健的BioGPT、用于对话上下文的DialoGPT,以及作为编码器-解码器骨干的BART-large。重要的是要注意到,除了作为推荐系统核心轴的角色外,许多LLMs还被用于比较分析或用于接地和推荐过程中的专门子任务。例如,BERT经常被提及并非作为生成模型,而是因其强大的编码能力,被用于概念一致性奖励模型中以融入文本特征。相比之下,作为推荐系统核心的其他模型是编码器-解码器模型如BART-large,以及仅解码器模型如Qwen家族的模型。所审查的文献也提到了其他LLM技术在不同语境中的应用。为特定领域开发的模型,如BioGPT、BioMistral-7B和STIGPT,在专门的推荐任务中被评估,如消融研究,或作为高级推理能力的例子。此外,还引用了在这些LLMs之上构建的专业架构和框架,如P5、RecLlama以及剪枝或蒸馏变体如SparseGPT和TinyLLaMA。为了生成作为次要信息的嵌入,使用了来自OpenAI的商业模型如text-embedding-ada-002、e5-mistral-7b-instruct和voyage-lite-02-instruct。最后,在审查文献中观察到的多样性表明,基于专有API的模型和本地托管开源模型都是跨多个领域创建功能性接地推荐系统的可行基础。
5.2.3. 基于接地的LLM推荐系统正在哪些领域实施?
对审查文献的分析揭示,基于LLM的使用接地技术的推荐系统的实施已超越理论实验,现在涵盖广泛的应用领域。这种扩展满足了缓解生成模型固有幻觉并通过集成外部上下文知识提高事实准确性的需求。已识别的领域大致可分为面向大众消费者的部门,其中体验个性化是关键,以及关键的专业环境,其中事实性和临床或技术安全性是必要的。在电子商务和零售领域,文献指出使用了像RecMind和InteRecAgent这样的经验方法,它们通过处理购买历史和详细元数据来处理复杂查询。实施涵盖了广泛的子领域,包括一般电子商务、专业产品和书籍。在此背景下,由于这是一个私有领域,在模型预训练的一般知识中覆盖较少,接地技术对于将推荐与特定属性对齐至关重要。同样,该技术被应用于预测广告中的点击率,使用RAG优化跨海量商品目录的商业表现。娱乐和媒体领域代表了最多样化的应用领域。研究记录了电影和文学的推荐系统,使用流行的数据集如MovieLens、Netflix、ReDial、INSPIRED和Amazon Books进行验证。在这些案例中,通过集成提供情节摘要、流派、演员元数据和情感评论的外部来源,以及在互动故事中通过叙事气泡管理角色一致性来实现接地。应用扩展到微视频平台如快手和抖音上的视频和内容发现。同时,在视频游戏领域,使用来自Steam平台的数据集进行语义搜索和增强信息推荐。最后,新闻消费受益于像LKPNR这样的系统,该系统用源自新闻文章正文的知识图谱丰富LLM嵌入,以提高信息相关性。审查识别出在健康和生物医学等关键领域的深度实施,其中接地作为一种关键的安全策略。已经开发了像TreatRAG这样的框架,集成了结构化的临床实践指南和生物医学文献,用于病例管理和循证决策。这些系统通过创建数字孪生来检索相似病例、症状分析和风险分层,将其响应建立在医学本体上,使得治疗建议严格遵守既定的医疗规程,最小化错误风险。除了病例管理,应用还扩展到个性化营养,生成控制代谢疾病的食谱,以及健康信息学,如从电子健康记录中提取和总结信息。一个在初步审查中未明确界定但在科学语料库中占据突出地位的领域是基于位置的服务的推荐系统。系统应用于本地企业和餐馆,通常使用Yelp和Google评论等数据集。在旅行和旅游业,系统依赖TripAdvisor等平台的数据。应用范围从个性化城市行程规划到专业体验推荐,如可持续旅游,其中像SynthTRIPs这样的框架验证目的地属性、成本和可持续性参数。基于真实世界的LLMs的通用性同样体现在广泛的专业、工业和服务领域。已识别出金融领域的应用、使用LinkedIn等平台数据验证的工作推荐,以及公共采购系统。在知识产权领域,自省系统使用时序知识图谱来生成和验证伪专利,确保新颖性和技术一致性。在教育领域,像RAMO这样的工具优化了个性化课程和学习资源的推荐。最后,在科学和环境领域,应用范围从物理学和科学中的分类归纳到协调外部API进行气象数据和污染水平实时监测的智能体使用。最后,至关重要的是注意到,实施不仅由应用领域定义,还由推荐范式定义。两个正在获得关注的研究领域是对话推荐系统和基于会话的推荐。这些范式是跨领域的,通常使用来自电影或美容等领域的数据集进行评估。
5.2.4. 在使用LLMs的推荐系统中,接地技术的目标是什么?
接地技术是将LLMs适应于在推荐系统中实施的基本支柱。它们的总体目标是将这些最初设计为通用文本生成器的模型转变为专门、准确和可靠的推荐引擎。为实现这一点,接地追求一组相互关联的目标,旨在将LLMs的生成和推理能力锚定到事实知识源、特定领域上下文和传统的推荐系统范式上。首要且反复出现的目标是缓解幻觉并确保事实准确性,从而防止LLMs生成不正确、虚构或无法验证的信息。这首先通过将生成限制在系统的有效项目空间内来实现,确保其对应于现有产品,避免建议“幻影”实体。其次,它旨在通过将模型的输出锚定到外部可验证的知识源来维护生成属性、描述和解释的事实正确性。最后,这些技术促进逻辑和事实一致性,减少不准确性并防止顺序任务中的错误传播。在更深层次的技术层面,接地旨在作为一座桥梁,统一和对齐历史上不同的范式,如LLMs的语义和文本范式与传统推荐系统的基于标识符和协作信号的范式。一个核心目标是弥合两者之间的语义鸿沟,使LLMs的语言理解和推理能力与协作过滤建模复杂偏好模式的能力协同作用。这涉及到对齐表示空间以创建连贯的理解,并注入外部动态知识。通过像RAG这样的架构,LLMs可以访问最新的领域信息,而无需昂贵的重新训练,从而解决冷启动问题和数据稀缺等经典挑战。这种知识和范式的集成直接转化为推荐准确性、相关性和个性化程度的提高。接地技术旨在优化关键性能指标,如点击率和排序准确性,通过确保建议不仅在语义上连贯,而且在上下文上相关并与用户交互对齐。目标是深度个性化,使LLM能够推理用户历史、推断其潜在偏好,并生成量身定制的推荐和解释,而不是通用响应,与实时对话上下文甚至用户的情绪状态或情感对齐。最后,接地通过提高透明度和可靠性来改善高级推理和用户体验。目标是促进多步推理以处理复杂或未指定的查询,从而使系统能够主动请求澄清。一个关键结果是生成高质量、个性化、信息丰富且事实一致的解释,从而提高系统的可解释性和用户信心。此外,还追求技术控制目标,如指示LLM以标准化格式生成输出,以便于其系统集成,并使能自我纠正框架,在该框架中模型可以基于知识过滤器审查和完善自己的结论。从这个意义上说,接地对于将LLM从概率生成器转变为一个可靠的、对上下文敏感的、与真实世界数据和目标对齐的推荐智能体非常重要。
5.2.5. 能否将LLM推荐系统中实施的接地技术分类到一个分类法中?
在该领域审查的科学语料库表明,对于LLM推荐系统中的接地技术,没有一个单一的、普遍接受的分类。然而,这些工作呈现出众多方案,当整合时,围绕几个轴心形成一个连贯的框架,包括架构范式和集成策略、数据和知识源、基本底层机制、操作干预阶段以及系统内的功能,如本研究在分类法提议中所示。该分类法的第一个轴心由架构范式和集成策略定义,它根据技术如何以及何时被纳入系统工作流进行分类。在高层次上,这包括LLM应用的三种一般范式,如预训练、微调和提示。从架构角度来看,存在基于外部模块的方法与集成模型之间的区别。此外,信息流方向提供了另一种分类;在这种情况下,传统推荐引擎提供必要的上下文来丰富LLM的能力,促进更准确和相关的响应。第二种模式指的是LLM协助对话推荐系统的场景。在这种情况下,模型的输出不仅响应用户交互,还有助于提高推荐器的能力,扩展其范围和适应性。至关重要的是,所提出的框架不遵循传统的、互斥的层级结构。相反,它代表了一组正交的标注维度。这种多维方法是必要的,因为接地技术本质上是复杂和多面的;单一方法论方法可以并且应该根据分析视角同时在多个轴上分类。第二个轴心是作为基础的数据和知识源,其中技术根据它们所利用的信息结构进行区分,范围从结构化知识到非结构化知识。来源也可以按其内容分类,包括事实性、最新的知识图谱知识;基于知识三元组的知识;以及情感和经验知识。沿着这些思路,在RAG框架内,来源进一步分类,例如,通过区分普通RAG和知识图谱RAG。混合系统也按数据类型区分检索,如用于协作模式的基于标识符的检索和用于语义特征的基于文本的检索。分类法中最细粒度的维度涉及基本的底层机制,详细说明了所使用的基本算法过程。这里的一个细分是检索机制,包括传统的相似度计算,以及更先进的基于模型的检索器。在图基技术的情况下,存在基于粒度以及集成阶段的额外分类。此外,正如最近在对话范式中的进展所强调的,该分类法中的检索机制不应仅由信息的来源或结构粒度来表征,还应由如何选择和组合检索到的证据来表征。新兴研究表明,优化检索集组成,特别是在严格的标记和上下文预算下优先考虑检索多样性,对于提升多轮意图理解至关重要。类似地,诸如原型对齐的联邦软提示等策略正在出现,以在不压倒上下文窗口的情况下平衡持续网络个性化的动态知识组成。因此,“