《Expert Systems with Applications》:SageRAG: Query Rewriting for Retrieval Enhancement and Retrieval-Augmented Generation for Grounded Responses in AI Research Assistance
编辑推荐:
领域自适应AI研究助手SageRAG通过动态知识集成与语义查询优化解决传统LLM在学术检索中的三大痛点:幻觉、文献滞后与引用缺失,其模块化架构整合ChromaDB向量存储与OllamaLLM生成模型,实现多轮交互下的精准学术知识检索与可信生成。
阿迪蒂·维迪亚尔蒂(Aditi Vidyarthi)| 莫蒂拉尔·科伊罗姆·辛格(Motilal Khoirom Singh)| 丹尼斯·辛格·莫伊兰格瑟姆(Dennis Singh Moirangthem)
印度信息技术学院(Indian Institute of Information Technology)计算机科学与工程系,塞纳帕蒂校区(Department of Computer Science and Engineering, Indian Institute of Information Technology, Senapati Campus),曼尼普尔邦因帕尔(Department of Computer Science and Engineering, Indian Institute of Information Technology, Senapati, Manipur, Imphal, Manipur),795002,印度
摘要
在当今的学术和技术环境中,研究人员和学习者在应对开放式或探索性查询时,常常难以检索到准确、可验证且具有情境意义的信息。尽管大型语言模型(Large Language Models, LLMs)在自然语言理解和生成方面表现出巨大潜力,但在学术研究、工程基础、计算机科学等领域的知识密集型任务中,它们仍存在关键局限性:1)这些模型容易产生幻觉(即生成不准确的信息),且缺乏事实一致性;2)它们对模糊或定义不明确的查询支持较差;3)它们很少提供来源引用或对当代学术作品的访问途径。现代的检索增强生成(Retrieval-Augmented Generation, RAG)方法在一定程度上缓解了这些问题,但这些方法通常依赖于静态知识库,限制了其对新主题或小众领域的适应性。我们提出了SageRAG,这是一种具有领域感知能力的AI研究助手,能够提供精确、基于事实且内容丰富的响应。通过将结构化检索与自适应生成相结合,SageRAG能够实现对基础性和新兴学术知识的可靠访问,为学生在复杂且不断发展的领域中寻求帮助提供了可扩展且值得信赖的解决方案。
引言
学术文献的指数级增长为现代研究人员带来了机遇与挑战(Bornmann & Mutz, 2014)。每年有数百万篇研究论文在各个学科领域发表,传统的手动审稿方法已无法满足全面获取知识的需求(Bawden & Robinson, 2009)。尤其是初级研究人员,常常难以构建精确的查询,识别相关资源,并综合多篇文献中的见解(Nicholas et al., 2017)。
大型语言模型(LLMs)在自然语言理解和生成方面展现出潜力(Vaswani et al., 2023),但其在学术研究中的应用仍然有限。这些模型容易产生幻觉,无法获取最新出版物,也无法提供可验证的来源信息(Cheng, Marone, Weller, Lawrie, Khashabi, & Durme, Ji, Lee, Frieske, Yu, Su, Xu, Ishii, Bang, Madotto, Fung, 2023)。在需要基于事实且信息最新的领域中,这些局限性尤为突出。尽管这些模型在语言能力上令人印象深刻,但它们对静态训练数据的依赖限制了其在动态和知识密集型研究任务中的实用性(Dhingra et al., 2022)。
检索增强生成(RAG)通过将外部知识检索集成到LLM工作流程中,提供了一种有效的解决方案(Lewis et al., 2021)。然而,传统的RAG系统往往依赖于静态语料库和基于关键词的检索方法,这在处理语义复杂或模糊的查询时效果不佳(Cuskley, Woods, & Flaherty, 2024)。此外,现有的学术搜索引擎更侧重于文档检索而非情境理解,限制了它们在探索性或迭代研究中的应用。
为了解决这些局限性,我们提出了SageRAG,这是一种能够利用语义检索进行情境感知生成的领域适应性研究助手。该框架的主要创新在于其多步骤的查询优化过程以及对可验证、有引用支持的生成的承诺。我们的关键贡献包括:
- 1.
一个动态的文献整合流程,可实现实时整合来自arXiv等平台的学术文献。
- 2.
语义查询优化,以提高处理模糊或探索性问题的准确性。
- 3.
基于情境的响应生成,支持多轮交互。
SageRAG采用模块化架构,利用语义嵌入和向量索引(ChromaDB)等标准组件来支持这一新颖的工作流程,所有这些功能均由基于LLaMA的推理系统驱动。它能够高效、私密且可扩展地支持各种学术任务的检索与生成。
SageRAG通过解决信息过载、查询模糊性和事实不一致等问题,促进了有效的研究以及在教育和特定领域内的广泛应用。
相关工作
近年来,学术文献的迅速增长给传统的学术搜索工具带来了压力。Google Scholar、ResearchGate、arXiv、ERIC和SciSpace等平台提供了基于关键词的界面,用于查找与用户查询相匹配的文章。然而,这些平台的输出要么是完整的论文,要么是元数据列表,用户必须自行完成理解、综合和判断相关性的工作。这些平台通常缺乏语义查询优化和交互性功能。
提出的方法
图1所示的系统采用了一种针对科学文献领域的检索增强生成(Retrieval-Augmented Generation, RAG)模块化架构。该流程整合了查询评估、优化、情境检索和基于来源的响应生成,不仅确保了答案的准确性,还提高了透明度和用户的参与度。流程中的每个阶段都对查询进行了转化和丰富,从而生成连贯且易于理解的响应。
实验设置
为了评估所提出的查询优化和排名流程的有效性,我们使用ChromaDB构建了一个自定义的向量数据库。该数据库包含了涵盖46个计算机科学领域的865篇研究论文,经过预处理和分块处理后,共包含71900个文本片段。
该系统使用了LangChain框架实现,整合了几个关键组件:
1.语言模型:OllamaLLM,用于生成和评估查询。
2.向量存储:ChromaDB
结论与未来工作
本文介绍了SageRAG,这是一个强大的基于LLM的检索增强生成框架,旨在提升科学研究辅助能力。通过系统性地解决传统问答系统(QA systems)的局限性,如查询模糊性、检索不准确以及缺乏基于事实的引用等问题,SageRAG实现了更可靠、透明且与情境相关的学术交流。该架构整合了查询预处理、语义检索和自动化查询优化等功能。
手稿准备过程中生成式AI和AI辅助技术的声明
在准备本手稿的过程中,作者使用了ChatGPT(OpenAI)进行语言编辑,包括语法修正、句子重组和内容清晰度的提升。该AI辅助工具未用于研究设计、系统开发、数据收集、实验执行或结果分析。所有利用该工具生成的内容均经过作者的审核、验证和编辑,作者对内容负全责。
CRediT作者贡献声明
阿迪蒂·维迪亚尔蒂(Aditi Vidyarthi):概念化、方法论、软件开发、数据整理、形式化分析、初稿撰写、可视化。
莫蒂拉尔·科伊罗姆·辛格(Motilal Khoirom Singh):概念化、验证、数据收集、写作——审稿与编辑、可视化、监督。丹尼斯·辛格·莫伊兰格瑟姆(Dennis Singh Moirangthem):概念化、方法论、验证、形式化分析、资源管理、写作——审稿与编辑、可视化、监督、项目管理工作。利益冲突声明
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文的研究结果。