揭示与缓解大语言模型生成内容对检索增强生成系统的影响

《ACM Transactions on Knowledge Discovery from Data》：Revealing and Mitigating the Impact of LLM-Generated Content on Retrieval-Augmented Generation Systems

　　在大型语言模型（LLM）时代，互联网上充斥着大量由LLM生成的内容，包括与人类撰写内容在事实上等价的对齐型LLM生成内容，以及存在事实偏差的扭曲型LLM生成内容。然而，目前对于此类内容对检索增强生成（RAG）系统的影响缺乏充分的理解和应对。RAG系统依赖于准确的检索知识来生成响应。本文全面评估了对齐型和扭曲型LLM生成内容对RAG系统检索阶段和生成阶段的影响。值得注意的是，我们发现扭曲型LLM生成内容不仅更可能被检索到，而且会显著降低生成质量，而对齐型内容在某些情况下反而可以增强生成效果。为此，我们提出了一种基于事实一致性感知的自适应过滤方法，用于从检索文档中有选择地过滤掉扭曲型LLM生成内容。实验结果表明，我们的方法在混合LLM生成内容的场景下显著提升了生成性能，并且广泛适用于各种RAG系统。AI生成的摘要（实验性）本摘要由自动化工具生成，未经本文作者撰写或审核。其目的是支持文献发现、帮助读者评估相关性，并协助来自相邻研究领域的读者理解本文工作。本摘要旨在补充作者提供的摘要，后者仍是本文的主要概述。完整文章仍为权威记录版本。点击此处了解更多关于ACM AI摘要的信息。点击此处对本摘要的准确性、清晰度和实用性发表评论。您的反馈将有助于改进和未来的重新生成版本。要查看此AI生成的通俗语言摘要，您必须拥有高级会员权限。