资源受限环境下高效RAG系统的实现与评估

《Big Data and Cognitive Computing》：Implementation and Evaluation of an Efficient RAG System in Resource-Constrained Environments

　　

为实现高效数据访问以支持新的研发创新计划，本研究提出了一种基于检索增强生成（RAG）的信息检索系统，该系统针对Horizon 2020计划资助的项目领域进行了多种配置和特定适配，并考虑了仅依赖CPU的硬件需求。此项工作是对先前方案的扩展，旨在解决从探索性原型向稳健的大规模实验过渡时所面临的局限性。此外，研究人员还提出了一条自动化评估流水线，能够通过对生成的答案进行分析并自动化评分过程，实现对不同配置的大规模、可重复比较。系统开发遵循了分为三个主要阶段的方法论。首先，利用向量表示技术生成项目嵌入（embeddings），并对文档进行分片以比较各模型在语义质量方面的表现。其次，使用语言模型检索相关片段以评估其与查询的相关性。第三，采用基于语言模型的评估器对系统性能进行评估，实现了流程自动化。此外，一项深入分析识别出了最接近人工判断的评估器，并将其结果与参考研究的指标进行了比较。本研究通过在信息检索系统中提出的改进措施，为当前技术发展水平做出了贡献。

一、研究背景与问题

近年来，人工智能尤其是自然语言处理领域取得了显著进展，大型语言模型（Large Language Models, LLMs）在文本生成、问答等任务中表现出色。然而，LLMs存在三大固有局限：知识静态化、缺乏领域专长以及可能产生非事实性或误导性的“幻觉”（hallucinations）内容。为缓解这些问题，检索增强生成（Retrieval-Augmented Generation, RAG）技术被证明尤为有效，它通过整合外部知识源中的相关信息来提升LLM输出的事实准确性和对动态领域的适应性。尽管现有研究提出了多种先进框架，但在特定领域和真实世界场景下对RAG配置的系统性评估仍面临挑战，尤其是在可扩展性、可重复性和跨实验设置的可比性方面。此前，研究人员曾探索将LLMs与RAG技术结合应用于欧洲研究与技术创新项目（Horizon 2020）的开放数据集，为技术中心人员开发智能助手奠定了基础。然而，该方案在从探索性原型转向稳健的大规模实验时存在实际限制。因此，本研究旨在通过提供优化的RAG系统和自动化评估流水线来解决这些挑战，特别关注仅依赖CPU的硬件约束环境，这对于小型机构、边缘设备或移动平台等资源受限场景至关重要。

二、研究方法与关键技术

研究人员采用了一套结构化的方法论，围绕一条明确定义的实验流水线展开，目标是在仅使用CPU的计算约束下，系统性地评估不同RAG配置在Horizon 2020项目文档上的性能。主要关键技术方法包括：

1. 1.
   向量表示与文档分片：使用密集嵌入（embedding）模型将文档编码为向量，并通过改变分片大小和重叠率来评估不同语义表示策略的影响。选用了两种轻量级嵌入模型以保证CPU下的计算效率。
2. 2.
   多查询检索与后检索过滤：引入多查询（MultiQuery）机制，利用LLM生成原始查询的多个语义多样化改写版本，分别进行检索并聚合候选片段以提高召回率。随后应用过滤阶段，去除冗余或弱相关的片段，优先选择信息量最大的内容，以降低上下文噪声。
3. 3.
   基于LLM的自动评估流水线：采用LLM作为评判者（LLM-as-a-judge）策略，设计了专门的评估提示词，用于自动评估生成答案的事实正确性（部分真实性Partial Truthfulness和完全真实性Total Truthfulness）以及检索上下文的质量（兴趣点提及百分比PMAPI和关键方面覆盖百分比PCAC）。评估在英语和西班牙语两种提示语言下进行，并对比了不同评分尺度，最终选择了与人工标注一致性最高的配置。
4. 4.
   本地化执行框架：使用LangChain作为编排框架，FAISS作为高性能向量数据库进行语义检索，并通过Ollama平台在本地运行Llama3和Phi3等小型LLM，确保对延迟、资源分配和数据隐私的完全控制。

三、研究结果

3.1 基线实验评估

研究人员首先对先前工作的基线实验进行了评估，使用了PMAPI和Total Truthfulness两个指标。PMAPI结果显示，不同基线实验间存在较大差异，其中Experiment 2_B和5_B平均得分最高（3.727），而Experiment 12_B最低（1.909）。散点图分析发现，排除Experiment 8_B、12_B和13_B后，本研究的自动评估结果与基线报告值之间呈现更一致的正向趋势，但趋势线仍低于对角线，表明LLM评估器相对宽松。

3.2 本研究实验的PMAPI结果

在本研究设计的八种新实验配置中，Experiment 4_N、5_N和8_N在PMAPI指标上表现突出，平均值分别为4.09、3.73和3.7，且标准差较小，表明检索到的上下文相关性更高且更稳定。Experiment 7_N表现最差（均值3.27）。这表明所提出的多查询检索和后检索过滤配置能够有效提升检索阶段对相关信息的识别能力。

3.3 本研究实验的Total Truthfulness结果

在Total Truthfulness指标上，基线实验的Experiment 7_B和13_B表现最佳（均值分别为2.09和1.82）。而在本研究的新实验中，Experiment 3_N和4_N取得了最好的成绩（均值分别为1.63和1.55）。相比之下，Experiment 1_N、5_N和7_N表现最差（均值在1.30-1.37之间）。值得注意的是，虽然新实验在检索质量（PMAPI）上有所提升，但这种优势并未转化为更高的答案生成准确性（Total Truthfulness）。

四、讨论与结论

讨论部分指出，本研究提出的RAG配置在检索阶段相比基线有所改进，例如Experiments 4_N、5_N和8_N获得了更高的PMAPI分数，表明能更有效地识别相关上下文信息。然而，这种检索质量的提升并未带来更好的答案生成效果，基线的Total Truthfulness平均得分仍然更高。这一分歧凸显了RAG系统的关键局限性：改善检索质量并不必然导致更好的生成性能，生成阶段引入了与信息综合、连贯性和幻觉相关的额外挑战。例如，对于同一查询，Experiment 3_N成功检索到7个相关片段并生成了精确回答，而Experiment 1_N未能检索到相关片段，导致回答笼统不准确。同时，计算开销的观察表明，额外的检索和过滤阶段会带来明显的计算负担，且更长的处理时间并不一定意味着更好的检索或生成质量。总体而言，这些结果强调了RAG系统中检索与生成之间的部分独立性，单纯优化检索不足以全面提升系统性能。

研究结论部分总结道，这项工作展示了在资源受限的本地环境中构建先进RAG系统的可行性，系统设计优先考虑了模块化、可重复性和计算效率。实验结果证实，某些配置在检索性能上取得了一致性改进，获得了更高的PMAPI分数和更好的稳定性。然而，真实性分析揭示了一个关键发现：更相关的检索并不能自动保证更准确的生成，这确认了RAG流水线中检索与生成阶段的相对独立性。此外，自动化评估虽能实现更大规模的分析，但LLM评估器倾向于对微小错误更为宽容，暗示未来宜采用结合自动评估与人类专家验证的混合方法。尽管存在仅使用CPU、未进行微调以及评估领域单一等局限，该工作证明了在受限环境中构建高效可重复RAG系统的可能性，为未来研究提供了可复现的基础。