
-
生物通官微
陪你抓住生命科技
跳动的脉搏
检索增强生成中嵌入模型选择对临床问答系统可靠性与性能的影响——一项基于教科书语料库的系统评估
《Scientific Reports》:Evidence-based clinical question answering using retrieval-augmented generation (RAG) and open-source large language models
【字体: 大 中 小 】 时间:2026年10月15日 来源:Scientific Reports 4.9
编辑推荐:
摘要大语言模型(LLMs)正被研究用于临床决策支持工具,但可能会产生不可靠的输出,包括幻觉信息、过度概括的答案,以及未明确源自权威医疗来源的回复。为了使回复基于高质量的医疗文本,研究人员开发了检索增强生成(RAG)。在本工作中,我们表明,在一个结构化的单一教科书语料库中,嵌入
大语言模型(LLMs)正被研究用于临床决策支持工具,但可能会产生不可靠的输出,包括幻觉信息、过度概括的答案,以及未明确源自权威医疗来源的回复。为了使回复基于高质量的医疗文本,研究人员开发了检索增强生成(RAG)。在本工作中,我们表明,在一个结构化的单一教科书语料库中,嵌入模型的选择对 RAG 系统的可靠性和性能的影响显著大于分块策略。该系统在词元级和字符级分块下比较了十二种嵌入模型——通用和生物医学专用模型,提示 LLM 从检索到的片段中生成答案。我们使用基于排名的指标评估检索效果,并使用标准度量在 232 个问题中评估生成质量。通用嵌入模型,特别是 Jina-Embeddings-v3 和 BGE-base-en-v1.5,在检索和生成方面均优于生物医学专用编码器。在两种策略下,更高的检索精确度直接转化为与标准参考的词汇和语义对齐的改进。在我们要求明确证据跨度的操作定义下,35.6% 的已回答问题缺乏支持证据;我们最佳的配置(BGE-base-en-v1.5,词元级)实现了最低比率 26.1%——这是一个证据支撑度量,而不是正确性的保证。这些发现突显了检索质量在临床 RAG 系统中的核心作用,表明开源、证据驱动的架构为基于教科书的临床问答场景提供了一种透明的替代方案。