在检索增强生成中弥合检索器与大语言模型之间的语义鸿沟以实现有效连接

《ACM Transactions on Knowledge Discovery from Data》:Enabling Retriever-LLM Connection Across the Semantic Gap in Retrieval-Augmented Generation

【字体: 大 中 小 】 时间:2026年09月21日 来源:ACM Transactions on Knowledge Discovery from Data 6.9

编辑推荐:

   **摘要** 检索增强生成(RAG)通过利用检索器检索到的外部文档来增强大型语言模型(LLM)在领域特定和知识密集型任务中的表现,受到了广泛关注。然而,LLM往往难以判断哪些检索到的文档是相关的,以及它们之间有何关联。我们认为,这种困难源于检索器和LLM之间的语义鸿沟,这是

  **摘要**检索增强生成(RAG)通过利用检索器检索到的外部文档来增强大型语言模型(LLM)在领域特定和知识密集型任务中的表现,受到了广泛关注。然而,LLM往往难以判断哪些检索到的文档是相关的,以及它们之间有何关联。我们认为,这种困难源于检索器和LLM之间的语义鸿沟,这是由于它们在训练目标和架构上的差异所致。现有方法要么通过昂贵的微调或反馈信号来对齐检索器和LLM,要么在生成过程中仍未能显式地增强文档关系建模。本文提出了ConRAG,一种新颖的增强型RAG框架,旨在在RAG中建立检索器和LLM之间的信息连接,从而增强LLM的关系建模能力。具体而言,ConRAG采用了一个轻量级的Con-Former模型,置于检索器和LLM之间以捕获和传输语义信息。随后,采用语义注入策略将语义信息整合到LLM的生成过程中。相应地,我们采用三项任务进行特征建模和对齐:两个关系建模任务用于巩固对文档相关性的局部和全局感知,以及一个生成对齐任务用于促进LLM的解读。值得注意的是,ConRAG适用于LLM和检索器被冻结的低资源场景。进一步的分析表明,检索器派生的信息有助于LLM更好地识别相关证据并建模文档之间的关系,从而实现更有效的生成。源代码可在 https://github.com/yefd/ConRAG 获取。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号