面向工程知识与技术支持问答的可审计二元证据升级协议设计与压力测试评估

《Electronics》：An Auditable Binary Evidence-Escalation Protocol for Prompt-Constrained Retrieval-Augmented Question Answering

　　

摘要

技术支持与工程知识服务必须决定一个选定的段落是否足够，或者是否应将额外检索到的证据纳入生成提示。整体准确率和平均上下文大小掩盖了扩展是恢复了遗漏的证据、没有增加价值，还是损害了原本正确的答案。我们为这一运营决策提出了一种可审计的二元证据升级协议。逻辑控制器使用 27 个生成前问题和证据评分特征来选择一份文档或特定于模型 - 任务的全候选操作；其结果衍生的开发目标是配置特定的，且由此产生的策略比较是条件性的，取决于单次开发选择的拟合，而不是控制器选择性能的样本外估计。我们使用两个开放权重生成器和一个不透明的 GPT 兼容 API，评估了源自 SQuAD、WikiQA 和 HotpotQA 的确定性干扰项增强压力测试。在版本锁定的 GPT/API 分析中，SQuAD-Hard 策略的观察准确率与全候选参考值相同（0.9025；配对差异 0.0000，95% 自举置信区间 ），同时将平均提示文档从 5.00 减少到 2.74，并将重建的标准化提示令牌减少了 40.8%（95% 自举置信区间 ）。未预先指定等效边际。在当前六文档候选配置下，WikiQA-Hard 没有提供实际提示证据效益：控制器升级了 95.9% 的示例，并将平均提示文档仅减少了 0.21（共 6 个）（令牌减少 2.9%），而 HotpotQA-Hard 则产生了 0.0350 的观察准确率损失。这些留出比较量化了所选控制器条件下的测试实例变化；它们不包括重训练或控制器选择的不确定性。配对转移核算和有限案例审计区分了选择、生成和测量失败。该协议为工程知识和技术支持 QA 中的提示证据预算提供了设计时审计；这些基准测试结果并不确立生产准备就绪、优于自适应 RAG，或延迟、能源或货币节省。