Auto-RAG：面向营养知识获取的带条件路由混合检索增强生成框架

《Egyptian Informatics Journal》：Auto-RAG: Hybrid Retrieval-Augmented Generation with conditional routing for nutrition knowledge access

　　

大型语言模型（LLMs）在自然语言生成方面已展现出较强能力，然而其在处理知识密集型查询时仍易产生幻觉，且往往缺乏可验证的依据。检索增强生成（RAG）通过引入外部知识源缓解了这一局限，但现有方法大多不加区分地执行检索，可能引入无关上下文并增加计算开销。本文提出Auto-RAG，一种带条件路由的自适应检索增强生成框架，可动态判定给定查询是否需要外部知识检索。该框架采用轻量级查询分析模块评估查询复杂度、意图与词汇特异性，从而在直接LLM生成路径与检索增强推理流水线之间实现智能路由。为提升检索效果，所提方法通过统一的融合与重排序机制，将基于语义嵌入的搜索与基于关键词的BM25相结合，确保选取高质量且上下文相关的证据。此外，研究人员引入信任感知评估框架，联合度量答案质量、对检索证据的忠实度、幻觉率与检索效率。在源自《Human Nutrition》的营养知识语料上的实验结果表明，该框架在流畅性与事实可靠性之间实现了良好平衡。与传统的始终开启检索策略相比，Auto-RAG在保持有竞争力的答案质量与证据支撑性能的同时，将检索使用量降低约30%。结果还表明，证据过滤的有效性取决于其配置，过于激进的过滤可能移除有用的支撑证据。尽管纯LLM响应可能表现出更高的语言流畅性，但其缺乏依据保证，凸显了自适应检索在安全关键领域的重要性。总体而言，本工作为领域特定知识获取提供了一种高效且可靠的方法，并强调条件检索作为提升大规模语言系统可信度的可扩展范式。

大型语言模型（LLMs）在自然语言理解与生成方面表现突出，并能在问答、摘要与对话系统等多种任务中有效发挥作用。LLMs在营养与健康知识的教育、临床决策及公众认知方面具有巨大潜力，因其可快速获取复杂且专业的信息，帮助用户了解膳食指南、营养素作用及健康相关建议，从而降低获取专家级知识的障碍。尽管LLMs具备流畅性与泛化能力，但已知其会产生幻觉，即生成看似连贯却包含无支撑、误导性或事实错误信息的响应。这在营养与健康应用中尤为关键，因为不当建议可能导致误解、不良饮食习惯甚至健康损害。此外，LLMs通常不明确标注外部引用来源，难以判断其可信度。为缓解上述问题，检索增强生成（RAG）已成为将外部知识源纳入生成过程的重要范式。RAG框架基于知识库检索相关文档并据此条件化模型响应，从而提升事实正确性、透明度与可解释性。然而，现有RAG方法大多对所有查询盲目执行检索，虽有利于依据支撑，却带来若干实际限制：其一，检索可能引入无关或噪声上下文，干扰生成器并损害答案质量；其二，持续检索增加计算开销与延迟，限制实际系统的可扩展性；其三，现代LLMs在许多情况下已能高可靠地回答简单事实性查询，无需检索甚至检索反而有害。近期研究表明，并非每个问题都应以同等程度进行检索：简短且定义明确的事实性问题通常仅凭LLM推理即可准确回答，而解释性、比较性及推理密集型问题则更需外部证据。这一观察揭示了传统RAG系统的主要缺陷，并驱动了自适应检索策略的必要性，即检索并非始终必需，而应动态判定，而非采用一刀切方案。本文提出Auto-RAG，一种基于条件路由的混合检索增强生成架构，旨在平衡答案质量、忠实度与检索效率。Auto-RAG将基于BM25的关键词检索与基于语义嵌入的检索相结合，随后进行块重排序与分数融合以识别最相关证据。轻量级条件路由器随后判定是否需要使用检索或仅依赖LLM内部知识，以确保外部来源的选择性使用。该设计使Auto-RAG能够最小化不必要的检索，同时仍能受益于对需要详细解释或情境的查询进行依据支撑。研究人员基于源自营养学权威教材的营养问答基准评估Auto-RAG，并将其与纯LLM及始终检索RAG两种强基线进行比较，评估涵盖答案质量、对检索证据的遵循度、幻觉率与检索使用量等多个维度。研究结果表明，Auto-RAG在答案质量、证据支撑与检索效率之间提供了有利的权衡。在受控条件路由实验中，Auto-RAG在降低检索使用量的同时，实现了高于Always-RAG的信任感知性能。尽管纯LLM基线能够处理简短事实性问题，但Auto-RAG对解释性查询产生更可信且可证伪的答案，强调了条件检索在领域特定知识获取中的作用。本文主要贡献如下：提出Auto-RAG，一种面向营养知识获取的带条件路由混合检索增强生成框架；设计选择性检索机制，将BM25与语义嵌入检索结合并配合重排序与分数融合；提出信任感知评估框架，联合考虑准确性、忠实度、幻觉与检索效率；证明自适应检索为营养问答中不加区分检索提供了更实用且可信的替代方案。总体而言，这些工作使Auto-RAG成为基于大型语言模型与领域特定知识的可扩展且可信知识获取的可行高效方案。为深入理解自适应检索对可靠性敏感生成的影响，研究人员基于五个主要研究问题设计研究：检索增强是否比纯LLM生成更能提升答案可信度（RQ1）；结合BM25与稠密嵌入的混合检索策略是否优于单模式检索策略（RQ2）；Auto-RAG如何管理流畅性-依据支撑权衡（RQ3）；条件路由能否提升异构查询类型的性能（RQ4）；Auto-RAG能否在不损害可靠性的前提下降低检索成本（RQ5）。这些研究问题为后续实验设计与评估框架提供了指导。相关工作方面，为克服大型语言模型的事实性弱点，研究者提出检索增强生成（RAG），将生成条件化于外部知识源。Lewis等的范式RAG模型采用神经检索器与序列到序列生成器，实现知识密集型任务的条件化生成。Karpukhin等提出稠密段落检索（DPR），证明了双编码器语义检索在开放域问答中的有效性，并成为标准稠密检索骨干。近期研究聚焦于改进检索与生成的集成：Izacard与Grave提出Fusion-in-Decoder（FiD），联合编码多个检索段落，仍是多文档问答的强基线；Izacard等进一步提出Atlas，一种端到端训练的检索增强语言模型，表明大规模检索集成显著提升事实召回。这些方法确认了检索在增强事实正确性方面的重要性，但仍假设检索应始终应用，而不考虑查询类型或复杂度。稀疏检索方法尤其是BM25仍是信息检索中的强词汇基线。Robertson与Zaragoza的概率相关性框架及TREC基准的大规模评估确立了BM25的标准检索方法地位。然而，纯稀疏方法难以处理语义复述与概念变化。结合稀疏与稠密信号的混合检索方法近期获得强有力的实证支持。Formal等提出SPLADE，学习稀疏神经表示，在保留词汇匹配的同时实现语义扩展。Lin等与managwu等证明，将BM25与稠密检索器结合可显著提升问答与信息检索任务的召回率与鲁棒性。近期RAG流水线明确采用混合检索与分数融合以提升下游答案质量与证据相关性。这些发现启发了Auto-RAG中的混合BM25-嵌入检索设计。越来越多的研究认识到检索并非普遍有益。Asai等的SELF-RAG引入自我反思机制，允许模型在生成过程中决定何时及如何检索证据。Yu等的Corrective RAG在生成输出与外部知识冲突时动态精炼检索。类似地，Li等的Adaptive-RAG提出查询感知路由以选择性激活检索，而Schick等的Toolformer表明语言模型可学习在生成过程中何时调用外部工具（包括搜索引擎）。近期ReAct风格框架与RARR进一步证明推理驱动的检索可减少幻觉并改善依据支撑。这些方法启发了Auto-RAG中的条件路由策略，该策略使用轻量级查询分析而非复杂的学习控制器。传统评估指标如BLEU、ROUGE与F1无法用于评估检索增强系统。近期综述指出需要信任感知评估，明确度量依据支撑、幻觉与证据相关性。Es等的RAGAS是一种自动化评估工具包，可评估上下文相关性、答案忠实度与幻觉检测，已作为评估工具包获得广泛采用。Honovich等、sadat与Dziri等的其他工作识别了知识 grounded 生成中幻觉的常见 occurrence 及证据验证的重要性。近期LLM-as-a-judge评估等框架也强调多维可靠性度量的必要性。LLM-as-a-judge框架通过预定义评分标准对正确性、相关性、完整性及证据支撑等维度进行评分，提供可扩展的语义评估。然而，由于评判模型可能存在偏差与评分不一致，其评估应辅以透明的评估标准与人工验证。这些观察直接启发了研究人员的信任感知评估体系，该体系同时评估答案质量分数（AQS）、忠实度、幻觉率、信任感知答案分数（TAAS）与检索使用量。Auto-RAG的独特之处在于将混合检索与轻量级条件路由器及信任感知评估框架相结合，为领域特定知识获取提供实用、高效且可解释的解决方案。与FLARE、CoTRAG及SELF-RAG等先前自适应系统不同，Auto-RAG是唯一在单一端到端架构中同时集成混合检索、轻量级条件路由、显式证据过滤与信任感知评估的框架。表1展示了Auto-RAG与代表性RAG系统在关键架构与信任相关维度（包括检索策略、条件路由、幻觉控制与领域适应）上的对比分析。在背景部分，大型语言模型（LLMs）是在大规模文本语料上训练的神经模型，用于学习语言的概率表示。给定输入序列x=(x1,x2,…,xn)，自回归LLM估计下一token的条件概率如式(1)所示，其中fθ表示由θ参数化的深度Transformer架构。通过指令调优与对齐，现代LLMs如GPT、PaLM、LLaMA与Gemma能够在无需显式任务特定重训练的情况下执行问答、解释与摘要等复杂任务。尽管具有表达能力，LLMs在推理时并不具备对权威知识源的显式依据支撑，因此可能生成流畅但无支撑的陈述，即幻觉。这在营养等教育与健康相关领域尤为关键，事实准确性与证据一致性至关重要。检索增强生成（RAG）是一种通过外部检索方面在推理时提供相关证据来增强LLMs的技术。RAG不仅使用参数记忆，还基于检索到的文本段落进行条件化生成。形式上，给定问题q，RAG检索文档或块列表Dq={d1,d2,…,dk}，生成过程如式(2)所示，其中y为生成的答案序列。这种条件化增强了事实依据支撑并允许追溯外部来源。然而近期研究表明，始终开启检索存在两个显著问题：上下文噪声，即无关或弱相关检索块可能误导生成器；不必要检索，即简单事实性问题可能无需外部证据，且在纯LLM推理下表现更佳。这些局限驱动了选择性与自适应检索策略。检索范式分为稀疏（词汇）检索、稠密（语义）检索与混合检索。稀疏检索算法如BM25通过查询与文档间的词项重叠对文档排序，其分数如式(3)所示。稀疏检索擅长精确关键词匹配，这在营养术语（如铁、维生素D、钙）中尤为重要。稠密检索将查询与文档表示为连续嵌入，给定嵌入函数φ(q)与φ(d)，相关性通过余弦相似度度量如式(4)所示。稠密检索捕捉语义相似性与复述，但可能忽略精确事实实体或领域特定术语。混合检索结合稀疏与稠密分数以利用互补优势，本文中分数通过式(5)加权融合。混合检索已被证明在知识密集型问答与领域特定检索任务中优于单通道方法。在证据过滤与上下文质量控制方面，教育教材包含标题、图注、参考文献与重复结构文本等非信息性伪影，若被检索可能降低答案质量。近期研究表明，噪声或低显著性检索段落显著增加幻觉风险并降低推理性能。为应对此问题，在排序后进行证据过滤，丢弃不满足信息性标准（如最小长度、词汇密度、语义内容）的块。该步骤通过减少上下文中的噪声量提升生成忠实度，仅内容承载段落被用于生成。在条件检索与自动路由方面，Auto-RAG并非同质地使用检索，而是提出条件路由，判定使用检索查询的必要性如式(6)与式(7)所示。路由通过依赖查询长度与意图（如why、how、explain）的轻量级启发式计算，基于近期选择性检索框架。该设计允许Auto-RAG对简短事实性问题使用纯LLM推理，对解释性或推理密集型查询调用检索增强生成，从而不进行不必要检索并在必要时保持依据支撑。在质量与可信度评估指标方面，为促进对检索增强生成系统的严格多维评估，研究人员使用信任感知评估框架，同时评估语义正确性、事实依据支撑与幻觉行为。与仅关注表面相似度的传统工具不同，所提指标明确表示生成答案对外部证据的支持程度，这对营养与健康等安全关键领域至关重要。答案质量分数（AQS）用于确定生成答案相对于参考答案的语义正确性，计算为语义相似度与关键词覆盖率的组合如式(8)所示，其中y为生成答案，y*为参考答案，K表示期望领域特定关键词集合。该公式捕捉意义级相似性与术语正确性，对营养领域特定概念尤为重要。忠实度量化生成答案在检索证据中的依据支撑程度，定义为答案token出现在检索上下文中的比例如式(9)所示，其中Dq表示查询q的检索文档token集合。该指标反映证据对齐与依据支撑，已广泛用于知识 grounded 生成的事实一致性评估。幻觉率是生成内容中未被检索证据覆盖的比例，定义为忠实度的补集如式(10)所示。低值意味着更高可靠性与更多依据支撑。为同时确定答案的正确性与可靠性，研究人员开发了复合度量称为信任感知答案分数（TAAS），如式(11)所示，其中r(q)∈{0,1}表示路由选择。当仅进行纯LLM推理（r(q)=0）时，TAAS为AQS，因为没有外部证据可用于依据支撑；在基于检索的系统（r(q)=1）中，TAAS将语义正确性、事实依据支撑与幻觉控制整合为单一信任感知分数。该公式与近期信任感知RAG评估框架（如RAGAS）及LLM-as-a-judge方法一致，强调答案相似度不足以定义可靠性。TAAS是实验中的主要系统级信任度量，上下文精确率与句子级答案-证据对齐等其他度量作为补充诊断度量提供。上下文精确率度量检索上下文中实际被使用的比例如式(12)所示，证据噪声如式(13)所示。这些指标量化检索效率与证据噪声，近期工作将其识别为RAG系统的主要瓶颈。虽然忠实度与上下文精确率等token级指标捕捉表面重叠，但它们不度量答案中整个语义主张是否由检索证据支持。为此，研究人员引入句子级答案-证据对齐（SAEA），受近期事实一致性评估框架启发。设生成答案分割为句子y={s1,s2,…,sm}，每个句子si若由至少一个检索块dj∈Dq语义支持则视为对齐，对齐分数如式(14)所示，其中Sim(·)表示句子嵌入相似度，τ为语义对齐阈值，I为指示函数。SAEA提供生成陈述是否与检索证据语义对齐的句子级诊断。这对Auto-RAG尤为重要，因为条件路由不仅旨在限制无支撑内容，还旨在确保解释性陈述由可用证据支持。然而，SAEA应被解释为补充性依据支撑诊断而非事实正确性的完整度量，其结果对所选嵌入模型与对齐阈值敏感，语义相似度可能无法识别细微事实矛盾或无支撑推理。因此，忠实度、幻觉率与SAEA被视为自动证据依据支撑代理而非人工或专家评估的替代。未来工作将采用人工或专家标注评估来检验这些自动度量与事实正确性及证据支持判断之间的对应关系。在所提Auto-RAG框架部分，图1展示了Auto-RAG框架架构，将条件路由、混合检索、响应生成与信任感知评估统一为面向营养知识获取的自适应流水线。该框架在预期能提升答案质量时选择性激活检索，从而平衡答案质量、事实依据支撑与计算效率。与传统RAG系统相比，Auto-RAG通过条件路由与混合证据过滤避免冗余检索与噪声上下文暴露。该架构使Auto-RAG在流畅性、依据支撑与效率之间获得更高水平权衡，因而特别适用于营养与健康等事实准确性与可解释性均重要的安全关键领域。图1提供结构概览，算法1给出完整过程推理以保证可复现性与实现清晰性。在输入分析与查询表征方面，Auto-RAG过程始于用户提交查询Q。查询首先由输入分析模块处理，提取三个互补信号：语义相似度，捕捉查询的概念结构；关键词匹配，识别领域特定术语（如营养素名称或健康状况）的存在；查询复杂度，度量查询长度与意图指示词（如why、how或explain）。这些特征联合提供轻量但强大的查询信息需求表征。关键词高度特定且语义复杂度低的查询为简短明确的事实性查询，而解释性或推理性查询具有更高语义深度与更广目的范围。在条件路由机制方面，提取的特征随后送入条件路由模块，判定是否需要外部检索。路由器形式化地做出二元决策r(Q)∈{0,1}，其中r(Q)=0表示查询可使用LLM内部知识回答，r(Q)=1触发检索增强生成。若无需检索，系统遵循纯LLM路径，由Google Gemma-2B-IT模型直接生成答案而不参考外部来源，这是针对事实性问题优化的快速路径，不产生额外检索开销。若需要检索，系统激活混合检索流水线，确保复杂或安全关键查询由权威证据支持。路由逻辑在算法2中形式化。研究人员计算轻量级复杂度分数与相似度估计，仅当复杂度高或相似度估计低于阈值时激活检索。在混合检索与证据选择方面，当检索触发时，Auto-RAG通过在外部营养知识库上结合BM25关键词检索与稠密语义检索执行混合检索。所得分数归一化并通过加权组合融合，候选段落随后经块重排序与融合模块处理，过滤非信息性内容并选择最相关证据，产生紧凑且高质量的上下文，减少噪声并改善事实对齐。两个检索通道均在外部营养知识库上操作，其分数归一化并通过加权分数组合融合。所得候选段落随后由块重排序与融合模块处理，过滤非信息性内容并选择最相关证据。该设计确保生成模型接收紧凑高质量证据集，减少上下文噪声并改善事实对齐。混合检索与过滤过程在算法3中给出；研究人员融合BM25与稠密分数并在重排序前应用块级过滤。在基于依据支撑提示的响应生成方面，所选证据被注入Gemma-2B-IT模型提示中。答案组织随后由模型通过显式结合检索文档信息完成。该依据支撑提示策略设定三个目标：事实整合，鼓励模型复用检索内容；幻觉减少，抑制无支撑主张；自然语言流畅性，保持可读性与连贯性。最终输出为语义流畅且由外部证据显式支持的响应。在信任感知评估层方面，流水线最后部分是信任敏感评估组件，在多个可靠性维度上度量生成响应：忠实度，与检索证据的对齐程度；幻觉率，无支撑内容比例；证据使用（上下文精确率），检索上下文的效率；总体信任感知分数（TAAS），复合可靠性度量。该评估层允许对纯LLM、Always-RAG与Auto-RAG配置进行系统比较，并提供生成质量与检索行为的详细诊断信息。TAAS按算法4计算；研究人员将TAAS声明为任何实验的主要可靠性度量。在评估数据集与基准构建方面，为促进对条件检索策略的可操作且可解释评估，研究人员基于权威《Human Nutrition》教材构建了一个小型但精心设计的营养问答基准。该数据集专门设置为测试各种检索模式，特别是系统区分可一致地以参数模型知识回答的查询与需要外部证据的查询的能力。与大规模开放域问答基准不同，该数据集的目标不是最大化覆盖范围，而是实现对检索增强生成系统的细粒度行为分析。具体而言，预期用于以下方面：基于单一权威来源的受控领域；跨查询类型的路由敏感评估；封闭世界分析，其中已知检索语料中存在正确答案，从而可对忠实度与幻觉进行有意义的度量。在问题类别与数据集统计方面，最终基准包含180个手动构建的问题，按认知与证据需求分为三类。事实性问题为简洁、具体的问题，通常可借助当前LLMs的内部参数知识解决，检索不应必需且实际上可能带来噪声。例如："哪种维生素帮助身体吸收钙？"概念/解释性问题需要多句解释、因果推理或概念理解，检索可能有帮助但并非所有情况下严格必需。例如："为什么水被认为是必需营养素？"教材证据问题明确引用教材并需要依据权威外部内容，检索对可靠性能至关重要。例如："根据教材，为什么缺铁被认为是全球营养问题？"数据集组成总结于表2。每个问题具有对应参考答案，从教材提取或转述，以及用于计算答案质量分数（AQS）的领域关键词小列表。数据集组成按问题类别为：事实性54题（30%）、概念/解释性72题（40%）、教材证据54题（30%），总计180题（100%）。在真实标注与条件RAG评估适用性方面，参考答案经人工编辑以确保教材中的事实正确性与概念完整性。检索语料与参考答案来源为同一教材，基准支持封闭世界评估，确保知识体中存在正确证据。该设置允许可靠计算忠实度、幻觉率、上下文精确率与句子支持率（SSR），而在开放域中因真实标注不完整或噪声，这些度量将无意义。更重要的是，数据集在结构上与评估条件检索的目标一致。事实性问题测试系统是否避免不必要检索，解释性问题测试自适应行为，教材证据问题测试幻觉风险下的依据支撑。该结构允许直接度量条件路由器是否（i）在需要证据时激活检索，（ii）在参数知识充分时绕过检索，（iii）实现优于Always-RAG的流畅性-依据支撑-效率权衡。与大型开放域基准不同，该数据集支持检索策略的行为评估，而不仅是聚合答案准确性。在实验结果部分，研究人员呈现对Auto-RAG框架的全面信任感知评估。与传统仅关注答案正确性的RAG研究不同，评估采用多维视角，联合度量答案质量（AQS）、对检索证据的忠实度、幻觉行为、信任感知答案分数（TAAS）与检索使用效率。本节对Auto-RAG框架与两种基线（纯LLM与Always-RAG）进行比较。与仅依赖答案准确性的传统评估不同，研究采用多维信任感知视角，联合分析语义质量、事实依据支撑、幻觉行为与检索效率。评估基于源自《Human Nutrition》教材的基准，确保权威真实标注与现实相关性，并组合等量简短事实性、描述性与解释性问题。该设计还确保评估基于现实用户信息需求。分析分为五个小节，每节强调系统行为的一个维度。在全局系统级性能方面，研究人员首先考察所有系统的性能趋势以了解其高层权衡。表3总结通用系统级评估所得平均分数。纯LLM基线具有最高原始答案质量分数（AQS=0.886），能够无约束地生成答案并具有高自然语言流畅性。然而，由于不参考任何外部证据，其输出无法验证，这使其表面上的优越性在营养等安全关键领域具有欺骗性。Always-RAG系统要求对所有查询进行依据支撑。这提升了忠实度（0.788）并降低了幻觉水平（0.212），但为简单查询添加了无关或噪声背景，恶化了语义质量并使其AQS降至0.823。Auto-RAG解决了这一权衡。其AQS高于Always-RAG（0.834对0.823），同时保持有竞争力的证据依据支撑。尽管Always-RAG实现更高忠实度（0.788对0.767）与更低幻觉率（0.212对0.233），Auto-RAG的TAAS为0.794，而Always-RAG为0.802，同时将检索使用量从1.00降至0.70，相当于检索激活减少30%。因此，Auto-RAG通过提升答案质量同时保持有竞争力的信任感知性能并大幅降低对检索的依赖，提供了有利的信任-效率权衡。这些结果支持条件检索作为始终开启检索的效率导向替代方案，而非表明Auto-RAG最大化每个单独评估指标。在跨系统指标比较方面，图2呈现各系统所有评估指标平均值的条形图。该图表明Always-RAG的忠实度最佳，而语义流畅性因引入噪声或无关上下文而较低。相反，纯LLM基线在流畅性方面非常出色，高AQS证明了这一点，但无依据支撑，因为未采用外部证据。Auto-RAG位于这两个极端之间，在所有指标上给出更平衡的性能，保持良好答案质量并维持事实基础与幻觉管理。为进一步突出相对优势与权衡，图3显示归一化雷达图。该图说明答案质量、证据依据支撑、信任感知性能与检索效率之间的权衡。尽管Always-RAG实现略高的忠实度与TAAS，Auto-RAG在降低30%检索使用量的同时获得可比AQS，突出条件路由引入的效率-性能权衡。在答案质量与流畅性分析方面，本小节评估三个系统整体的语义流畅性与答案质量。通过答案质量分数（AQS）度量流畅性，其使用与参考答案的语义相似度及关键词覆盖率。图4比较纯LLM、Always-RAG与Auto-RAG的答案质量分数（AQS）分布。纯LLM系统获得最高中位数AQS，代表高水平自然语言流畅性。Always-RAG的AQS较低且更分散，意味着检索引入无关上下文从而增加答案质量方差。Auto-RAG获得接近纯LLM的高AQS且远优于Always-RAG，表明条件路由不以牺牲路由流畅性为代价。Auto-RAG通过直接回答能够同时实现高答案质量且不经历始终开启检索系统的流畅性退化。在忠实度分数分布方面，本小节讨论各系统基于检索证据回答的一致性。图5显示三个系统忠实度的平均分数。Always-RAG具有较高的中位数忠实度，表明其对每个查询强力执行检索。但其方差也较大，意味着不加区分检索常添加噪声证据或 somewhat 无关证据，导致跨查询一致性低。相反，Auto-RAG显示更集中且离散度更小的忠实度分数。该响应表明条件路由允许更一致的依据支撑，因为检索仅在有用时激活，从而减少对无关上下文的暴露。纯LLM基线不报告忠实度分数，因其不依赖外部证据生成答案。在忠实度-幻觉权衡方面，本工作的一个关键假设是幻觉与依据支撑呈负相关。图6（散点图）图形化表示这一联系。该图说明基于检索配置的每问题忠实度与幻觉率之间的关系。由于幻觉率定义为忠实度的补集，该图显示预期的逆关系：更高忠实度对应更低幻觉。Always-RAG与Auto-RAG均表现出问题级变化，许多响应位于高忠实度、低幻觉区域。在条件路由方面，本实验比较条件路由对语义流畅性与事实依据支撑之间权衡的影响。具体而言，研究人员考察选择性激活检索是否比持续使用检索或持续不使用检索产生整体更高性能。比较以下三个系统：纯LLM（无检索）、Always-RAG（混合+过滤，严格）、Auto-RAG（混合+过滤，严格）。表4记录条件路由评估，其中Always-RAG与Auto-RAG使用混合+过滤（严格）检索配置，而纯LLM不执行检索。纯LLM基线获得最高原始答案质量分数（AQS=0.898），但由于未检索外部证据，忠实度与幻觉无法评估。Always-RAG获得AQS 0.796、忠实度0.809、幻觉率0.191。Auto-RAG获得更高AQS 0.851、更高忠实度0.818、更低幻觉率0.182。使用第4.6.4节定义的TAAS公式，相应TAAS值为Always-RAG 0.804与Auto-RAG 0.831。因此，在该条件路由配置下，Auto-RAG在将检索使用量从100%降至70%的同时实现高于Always-RAG的信任感知性能。该结果支持选择性检索在保持有竞争力答案质量与证据依据支撑的同时减少不必要检索的益处。表4报告单独受控条件路由实验，并非对表3通用系统级评估的重复。在该实验中，Always-RAG与Auto-RAG使用相同混合+过滤严格配置以隔离检索激活策略的效果。答案在单独实验运行中重新生成与评估；因此，表3与表4中的绝对值不用于直接跨表比较。表4的所有结论仅限于该受控实验内的比较。在流畅性-依据支撑权衡分析方面，本小节分析所评估系统在语义流畅性与事实依据支撑之间的结构关系。这两个维度在知识密集型问答中通常存在权衡：高度流畅的答案可能无证据支持，而高度依据支撑的答案可能因上下文约束而表达性较低。图7可视化所评估问题中基于检索配置的答案质量分数（AQS）与忠实度之间的关系。Always-RAG与Auto-RAG均表现出问题级变化，许多响应位于高AQS、高忠实度区域。与表4聚合结果一致，Auto-RAG获得高于Always-RAG的平均AQS（0.851对0.796）与略高的平均忠实度（0.818对0.809）。同时，Auto-RAG通过条件路由将检索使用量从1.0降至0.7。纯LLM基线未包含在图7中，因为忠实度是证据依赖指标，在未检索外部证据时不适用。尽管纯LLM获得最高聚合AQS（0.898），该值无法直接与忠实度分数配对。总体而言，结果表明Auto-RAG在实现更高答案质量并仅对部分查询需要检索的同时，保持与Always-RAG相当且略高的证据依据支撑。这支持条件路由在所评估配置下在答案质量、证据依据支撑与检索效率之间提供有利平衡的作用。在查询级路由行为方面，本小节研究条件是路由器是否为单个查询选择正确推理路径。表5呈现混合事实性与解释性问题集上每问题AQS与TAAS的增量（Auto减纯LLM）。Auto-RAG显著提升解释性与因果性问题（如"抗氧化剂如何保护身体？""为什么水是必需的？"）的性能。对于简短事实性查询，Auto-RAG采取纯LLM路径，结果相似且无任何不必要检索。该行为证明路由器正确判定外部知识何时有用。相反，简短事实性查询给出零或负增量，证明路由器能够按预期避免检索。Auto-RAG强烈改善复杂/解释性问题（如Q18、Q11）。对于简短事实性查询，性能相等（Δ=0），验证条件路由。少数查询略有下降，表明检索上下文添加噪声，促使消融与上下文精确率分析。在按RAG_Score vs. 纯LLM的前10 Auto增益方面，图8标记Auto-RAG相比纯LLM的前十TAAS提升。最高增益与推理密集型问题相关，证明自适应检索在需要解释与情境时最为有用。在上下文精确率与证据噪声分析方面，尽管忠实度与幻觉用于度量答案与检索证据的兼容性，但不度量检索上下文本身的质量。为克服此弱点，研究人员添加上下文精确率，即检索材料中用于构建最终答案的比例。该度量用作证据噪声度量，较小值表明模型暴露于大量无关或分散文本。表6报告上下文精确率与答案质量分数（AQS）、忠实度、幻觉率、信任感知答案分数（TAAS）与检索使用量。Auto-RAG与Always-RAG的上下文精确率值均非常小（分别为0.022与0.021），意味着检索文本的很大部分未直接用于生成答案。这指向RAG系统的主要问题，即即使有依据支撑的答案也可在检索阶段检索到并呈现大量噪声或冗余证据。图9给出各系统平均上下文精确率。尽管绝对值较低，Auto-RAG平均精确率略高于Always-RAG，表明条件路由减少对无关文档的不必要暴露。图10以箱线图显示上下文精确率分布。Auto-RAG方差小于Always-RAG，表明更一致可预测的证据选择，而Always-RAG因其不加区分而更分散。所有这些发现支持上下文噪声是RAG系统结构性瓶颈的观点，以及Auto-RAG提供的条件路由是缓解其影响的可行方式。Auto-RAG通过仅存储必要检索提升可信度，即减少证据噪声并保持答案质量与可靠性，而非最大化检索量。在句子级答案-证据对齐与证据噪声分析方面，尽管忠实度与幻觉率报告生成答案与检索证据之间的token级重叠，但它们并未指明答案中的实际陈述是否由检索上下文证明。为捕捉此方面，研究人员引入句子支持率（SSR），一种句子级对齐度量，度量答案句子中至少由一个检索块支持的比例（即句子到证据支持）。因此，SSR是证据可用性与噪声敏感性的便捷代理：若检索提供有用且相关上下文，则高比例答案句子应被支持。表7列出Auto-RAG、Always-RAG与纯LLM基线的平均SSR值及答案质量分数（AQS）、忠实度、幻觉率、信任感知答案分数（TAAS）与检索使用量。纯LLM条件无SSR值，因其不检索外部证据。在基于检索的系统中，Auto-RAG获得略高于Always-RAG的平均SSR（约0.214对约0.200），同时实现更高TAAS并更少使用检索。这表明选择性路由不仅降低检索调用次数，还倾向于检索在句子级略更具支持性的上下文。图11总结系统间平均SSR。Auto-RAG与Always-RAG之间的差异虽不大但仍显著：即使两系统访问同一语料，Auto-RAG路由器消除冗余检索，从而最小化对无关段落的暴露，增加检索证据支持生成陈述的机会。图12提供查询上SSR值的分布视角。这些发现表明SSR在多数情况下倾向于较低，这指向当检索产生部分相关块检索时提供句子级依据支撑的自然挑战。然而，Auto-RAG在查询上结果略好，这也与其在有用时检索而非默认检索并添加进一步噪声的目标一致。在LLM-as-a-Judge评估方面，为补充自动重叠与证据度量，研究人员进行额外LLM-as-a-Judge评估。该分析目的是从更广泛语义角度评估答案质量，该角度未被token重叠、答案质量分数（AQS）、忠实度或句子级答案-证据对齐完全捕捉。20个营养问题子集在三个主要系统配置（纯LLM、Always-RAG与Auto-RAG）上评估，产生60个响应实例。评估考虑六个维度：正确性、相关性、完整性、证据依据支撑、幻觉风险与整体质量。每个维度使用五点序数量表评估。对于正确性、相关性、完整性、证据依据支撑与整体质量，较高值表示更好性能。对于幻觉风险，较低值表示更好性能。证据依据支撑对纯LLM响应视为不适用，因这些响应在未检索外部证据情况下生成。表8总结所得评估者分数。纯LLM配置获得最高平均正确性（4.067）、相关性（4.850）、完整性（3.950）与整体质量（3.950）。该结果与自动评估中观察到的强原始答案质量一致，表明直接生成在可从模型参数知识回答的问题上表现尤佳。Always-RAG获得最高证据依据支撑分数（4.150）与最低幻觉风险（1.433）。这表明持续检索提供强证据支持并限制无支撑生成，尽管未获得最高正确性或整体质量分数。图13单独比较幻觉风险分数，较低值表示更好性能。Auto-RAG获得平均相关性4.500、证据依据支撑3.944与整体质量3.667。尽管这些值未超过其他两个配置的最佳单项分数，Auto-RAG在选择性地而非对每个查询使用检索的同时保持竞争力。因此，评判评估强化了自动实验中观察到的质量-依据支撑-效率权衡：纯LLM提供强无约束答案质量，Always-RAG提供最强持续证据依据支撑，而Auto-RAG提供检索使用量降低的中间操作点。重要的是，这些结果作为补充性基于模型的评估而非独立人类专家评估的替代。自动忠实度、幻觉率与SAEA/SSR度量同样被解释为证据依据支撑代理而非事实正确性的完整度量。未来工作因此将包括独立专家评估，以进一步验证自动依据支撑度量与人类判断之间的关系。在实验发现总结方面，总体而言，实验发现表明三个系统占据质量-依据支撑-效率空间的不同点。纯LLM在无检索情况下提供强原始答案质量，Always-RAG以检索每个查询为代价提供持续证据依据支撑，而Auto-RAG在条件路由实验中在保持有竞争力答案质量与依据支撑的同时降低检索频率。结果进一步表明证据过滤与路由阈值可显著影响信任感知性能。这些发现支持条件检索作为控制检索成本的有用机制，同时强调证据选择组件需仔细校准。在消融研究部分，为量化Auto-RAG中各架构组件的贡献，研究人员进行综合消融研究，隔离检索策略、证据过滤、条件路由与提示依据支撑约束的效果。消融旨在回答以下问题：哪些组件对实现高答案质量、强事实依据支撑、低幻觉与高效检索至关重要？表9使用答案质量分数（AQS）、忠实度、幻觉率、信任感知答案分数（TAAS）与检索使用量列出不同系统配置的评估结果。在检索策略方面，所有消融变体总结于表9，并使用与第6节相同的基准与度量评估。研究人员注意到若干仅检索基线在该基准中产生相同分数，因为检索证据高度重叠，导致下游生成与评估结果等价。消融研究作为单独受控实验进行；因此其绝对分数不应与表4条件路由实验中报告的分数直接等同。表9内比较旨在评估共同消融设置下的相对组件效应。从表9看，结果表明单通道检索变体性能显著差于混合配置。仅稠密与仅BM25检索在该基准中获得相同下游分数，AQS=0.802、忠实度=0.330、幻觉率=0.670、TAAS=0.519。相反，混合检索配置提供互补语义与词汇匹配，因而提供更强的证据选择策略。这些结果支持使用混合检索而非依赖稠密或词汇检索单独。该趋势由图14视觉支持，其描绘仅稠密与仅BM25系统在所有信任度量上的失败，意味着混合检索并非可选项。在证据过滤方面，研究人员分析关闭块过滤过程的效果以测试Auto-RAG对检索噪声的敏感性。表10报告无过滤混合检索变体的性能。无过滤设置（RAG混合，无过滤）的答案质量分数（AQS）为0.867、忠实度0.795、幻觉0.205、信任感知答案分数（TAAS）0.824。这是基于检索基线中信任感知最佳性能。然而，严格过滤设置（Auto-RAG混合+过滤，严格）具有相似AQS 0.857，但忠实度显著较低（0.327）且幻觉率显著较高（0.673），使其TAAS较低为0.539。这表明极端证据过滤可消除有用上下文片段，从而破坏依据支撑并促进无正当理由生成。激进过滤并非在所有情况下增强可信度，而可能导致欠检索效应，即生成器接收不足证据。这意味着块过滤应良好调优：过度激进可通过消除支持消息的段落对忠实度产生负面影响。图15.a与b进一步说明性能对证据过滤的敏感性。严格过滤配置在本实验中未提升平均信任感知性能；相反，其较低TAAS表明过度过滤可移除有用证据并削弱依据支撑。因此这些结果支持仔细校准过滤机制而非统一更激进的证据移除。在检索使用量与质量-信任权衡方面，除评估答案正确性与依据支撑外，Auto-RAG的重要目标是平衡检索成本与可信度。为考察该权衡，研究人员将检索使用率（RAG_Usage）与答案质量分数（AQS）及信任感知答案分数（TAAS）对比。如图16.a所示，纯LLM基线在无需检索（RAG_Usage=0）情况下获得最高AQS。无过滤混合检索也产生强AQS性能（AQS≈0.867），但以持续激活检索（RAG_Usage=1.0）为代价。Auto-RAG变体位于中间地带，具有有竞争力答案质量（AQS在0.84至0.86之间）与约0.7的较少检索使用量。这验证了条件路由不会以高度退化流畅性为代价产生任何不必要检索开销的主张。图16.b在考虑信任时突出不同趋势。无过滤混合RAG可具有高TAAS（0.824），但这是由于过度使用检索与更多暴露于噪声证据。Auto-RAG变体则将检索使用量降至约0.70，但在该消融中其TAAS值较低（宽松配置0.644，严格配置0.642）。因此，消融未表明条件路由同时最大化TAAS并最小化检索。相反，它表明条件路由大幅降低检索频率，而所得信任-效率权衡的质量取决于路由与证据过滤配置。在最终消融见解方面，消融分析确立Auto-RAG的有效性并非源于任一单独组件，而是所有架构模块交互的结果效应。混合检索对确保高答案质量与语义相关性至关重要，因为单模式检索策略从未给出可信证据。证据过滤在减少幻觉相关行为方面发挥重要作用，如所提证据依据支撑度量所反映，通过消除无关或误导性上下文；无过滤时系统显示无支撑内容急剧上升，即使流畅性略有改善。条件路由被证明是效率与信任感知性能的主要来源，允许Auto-RAG显著降低检索成本并获得高于Always-RAG的可靠性。最后，依据支撑提示通过将模型限制于检索证据帮助稳定模型，降低方差并避免不受控生成。总体而言，这些结果表明Auto-RAG的性能在结构上依赖于所有组件的存在，移除任何单一模块都会导致可信度、效率或答案质量的可度量退化。因此消融研究验证Auto-RAG为集成信任感知架构而非独立改进的集合，每个组件贡献不同作用如表11所总结。表11定性组件级效应总结为：混合检索结合语义与词汇检索信号，通过改善证据选择与答案依据支撑在所评估配置中提供最强基于检索的性能；证据过滤移除短、噪声或结构无关块，其独立贡献无法隔离，因为过滤与路由及提示变化一起评估；条件路由根据问题需求选择性应用检索，改善答案质量、可信度与检索效率之间的平衡，同时将检索使用量降低约30%；依据支撑提示将生成约束于所提供证据，略微改善答案质量但未一致改善忠实度或整体信任感知性能。在研究问题回答方面，本小节总结实验结果以清晰回答第2节提出的五个研究问题。研究人员通过多维信任敏感棱镜而非仅使用单一度量来感知发现，该棱镜联合考虑答案质量、事实支持水平、幻觉性质与检索效率。图17总结每个研究问题对应的关键发现。RQ1：与纯LLM生成相比，检索增强是否提升可信度？发现表明检索增强不一定在原始流畅性基础上有效提升答案质量。纯LLM基线具有最佳答案质量分数（AQS），但该模型响应不基于任何外部证据，因而无法独立验证。Auto-RAG则产生略小AQS值但确保响应具有检索到的权威来源。这表明在营养等知识敏感领域，生成可验证且可靠响应需要检索，尤其是在选择性而非不加区分使用时。RQ2：混合检索能否优于单模式检索策略？能。消融结果明确定义表明，涉及稠密语义嵌入与词汇BM25匹配的混合检索在性能上远优于仅稠密与仅BM25。单通道检索策略的忠实度与幻觉率始终更高，因而单通道检索策略在信任感知方面性能较低。混合检索利用互补优势：语义匹配用于吸引概念相关性，词汇匹配用于吸引事实相关性，导致更稳健的证据选择。RQ3：Auto-RAG如何管理流畅性-依据支撑权衡？结果证明条件路由显著增强流畅性与依据支撑之间的权衡。Always-RAG对所有查询强加检索将导致更多暴露于无关或噪声上下文，并可能产生更差响应流畅性。纯LLM生成高度流畅但无依据支撑。Auto-RAG位于中间且最佳操作状态，因其仅在需要时选择性纳入检索，产生高语言质量并同时确保需要时存在事实支持。这表明条件路由是最大化表达性与可靠性的良好技术。RQ4：证据过滤是否减少幻觉？结果表明证据过滤效果取决于配置。在本消融中，严格过滤配置产生比无过滤混合配置更低的忠实度与更高的幻觉率，表明过度激进过滤可移除有用支持上下文。因此，证据过滤应仔细校准而非假设单调改善依据支撑。RQ5：Auto-RAG能否在降低检索成本的同时提升可信度？发现提供证据表明Auto-RAG可大幅降低检索使用量，从始终开启检索的1.0降至约0.7。然而，消融结果未显示Auto-RAG的绝对TAAS高于无过滤混合基线。相反，它们表明检索效率与信任感知性能之间的权衡。该发现表明条件路由有效减少不必要检索，但其信任感知性能强烈依赖证据选择与过滤质量。因此，在声称同时优化可信度与检索成本之前，需进一步调优路由与过滤机制。总体结论：五个研究问题的回答结合起来提供坚实实证支持，即条件、混合与过滤检索策略是访问可信知识的最有效方式。结果支持Auto-RAG作为平衡答案质量、证据依据支撑与检索效率的自适应框架。然而，发现未确立Auto-RAG普遍获得最高TAAS。相反，它们表明条件路由可在保持有竞争力性能的同时降低检索频率，且所得信任-效率平衡取决于路由、混合检索与证据过滤之间的交互。在有效性威胁与局限部分，尽管Auto-RAG可被视为在信任感知生成方面表现出稳定改进，但存在若干方法与实践约束应予认识。在内部有效性方面，评估工具主要基于自动度量如AQS、忠实度、幻觉率与聚合信任感知答案分数（TAAS）。尽管这些度量给出一致可复现评估，但它们仍是人类判断的代理。具体而言，token级证据重叠可能扭曲语义正确的复述或无法识别逻辑细微幻觉。因此，尽管TAAS是比单独相似度度量更好的可靠性度量，但不能完全替代专家人类判断。未来评估因此应包括人工或专家标注子集，其中个别主张被判定事实正确性、证据支持与无支撑陈述严重性。此外，路由与过滤元素以固定超参数设置测试。尽管敏感性分析通过消融实验部分考察，检索有效性与可信度之间的平衡可通过不同阈值设置改变。未来工作应采用系统超参数鲁棒性分析。在构建有效性方面，TAAS是将多个可靠性维度以固定权重组合为单一标量分数的可靠性维度。尽管该复合公式允许系统间比较，权重方案可影响观察到的排名。不同应用可根据语义流畅性、严格依据支撑或幻觉最小化的重要性进行任务重加权。此外，幻觉估计基于证据一致性而非外部事实验证。因此，更深的逻辑不一致或与检索证据不直接相关的世界知识错误可能未被注意。在外部有效性方面，实验评估在恒定基准与检索基础设施上进行。尽管混合、稠密与稀疏后端趋势一致，仍需证明可泛化到领域特定语料、多语言数据集或大规模工业使用。此外，检索语料质量、索引技术与嵌入模型影响检索性能，其具有敏感性。这些元素变化可改变绝对性能值，但自适应路由的相对优势可能保持不变。在系统与部署局限方面，Auto-RAG涉及检索前额外路由决策阶段。尽管计算开销相对于生成与索引不显著，超低延迟环境可能需要额外架构工程。此外，选择性检索预设检索需求具有良好可预测性。误分类后果可包括欠检索（缺乏必要证据）与过检索（添加噪声），因此判定置信度机制应良好设计。在可复现性考虑方面，实验均基于受控随机种子与恒定检索设置，但不可否认大型语言模型生成本质上是随机的。生成策略采样的细微差异可影响细粒度度量值。未来工作将通过一系列运行考察方差分析以进一步度量定量稳定性。在结论部分，本文提出Auto-RAG，一种信任感知检索增强生成系统，包含自适应路由、证据过滤与可靠性导向评估。与传统始终开启RAG系统不同，Auto-RAG根据估计检索必要性选择性激活外部检索，从而在保持有竞争力答案质量与证据依据支撑的同时减少不必要检索。研究人员提出信任感知答案分数（TAAS）作为复合度量，同时反映语义正确答案质量、基于其的依据支撑一致性及幻觉控制。实验结果表明显检索频率并非可信度的强预测因子。相反，自适应检索产生有竞争力答案质量、证据依据支撑与降低检索使用量。消融研究确认三个主要发现：（i）条件检索保持有竞争力流畅性并减少不必要证据注入；（ii）过度过滤可导致依据支撑稳定性下降；（iii）信任意识评估涉及多维评估而非表面相似度度量。总体而言，实验发现表明三个系统占据质量-依据支撑-效率空间的不同点。纯LLM在无检索情况下提供强原始答案质量，Always-RAG以检索每个查询为代价提供持续证据依据支撑，而Auto-RAG在条件路由实验中在保持有竞争力答案质量与依据支撑的同时降低检索频率。结果进一步表明证据过滤与路由阈值可显著影响信任感知性能，强调仔细校准检索与证据选择组件的重要性。为补充自动评估，研究人员额外引入LLM-as-a-Judge评估。基于评判的结果提供三个配置差异的额外语义视角，并进一步说明质量-依据支撑-效率权衡。重要的是，LLM-as-a-Judge评估被视为补充性基于模型的评估而非独立人类或专家验证的替代。总体而言，Auto-RAG将改进可靠性意识检索增强生成系统的架构设计，并推动大型语言模型在信任敏感应用中大规模实现的进展。作者贡献声明：Shaymaa E. Sorour：撰写-审阅与编辑、撰写-原稿、验证、软件、方法学、概念化。Fahima A. Maghraby：撰写-审阅与编辑、撰写-原稿、可视化、验证、软件、方法学、形式分析、数据管理、概念化。资助：本工作由沙特阿拉伯King Faisal大学研究生与科学研究副校长科学研究院长办公室根据项目Grant KFU264292资助。