MedSearch：基于多LLM架构的实时循证医学问答系统开发与评估

推荐：研究人员开发了基于5个LLM的MedSearch系统，通过RAG框架整合Google/PubMed API，在MedQA测试集实现90.26%准确率（超越GPT-4o和Med-PaLM2），为临床决策提供实时循证支持，其工作流分类准确率达94.5%，RAGAS评估显示82%相关文献检索能力。

　　

在医疗信息爆炸的时代，临床医生每天需要处理海量文献却难以快速获取精准答案。现有大型语言模型（LLM）如GPT-4虽在医学执照考试（如USMLE）中表现优异，但其"黑箱"推理过程、检索能力不足以及高达12.5%的错误率仍是临床应用的重大隐患。更棘手的是，传统评估仅关注答题准确率，却忽视了对文献检索质量、回答相关性等关键维度的系统评价。

Arkangel AI的研究团队开发了名为MedSearch的革命性系统。这项发表于《Intelligence-Based Medicine》的研究创新性地采用五层LLM架构：LLM1-3负责问题分类（临床参考/科研/诊断/通用四类工作流）和检索策略优化，LLM4生成3个基于检索的答案和1个基于背景知识的答案，最后由LLM5作为"裁判"整合最优解。关键技术包括：1）融合Google SafeSearch和PubMed API的RAG系统，2）基于MedQA（n=1273）和PubMedQA（n=500）双数据集验证，3）采用RAGAS框架评估上下文精确度（Context Precision）和回答忠实度（Faithfulness），4）多版本迭代开发（V1-V3）的优化策略。

研究结果

准确性突破：最终版V3在MedQA测试集达到90.26%准确率，显著优于GPT-4o（87.51%）和Med-PaLM2（85.4%），Cohen's Kappa一致性达87%。特别在诊断类问题中工作流分类准确率高达98.2%。

检索效能：通过PubMedAPI检索时，80.2%的提问能获取目标文献（PubMedQA数据），55.12%的MedQA问题至少获得1篇关键文献。但值得注意的是，有5%的回答完全依赖模型预训练知识而非检索内容。

质量评估：RAGAS显示96.85%回答与问题相关（Response Relevance），但仅57.48%严格引自检索内容（Faithfulness）。在"非忠实"回答中仍有88.68%的正确率，揭示LLM背景知识的双重作用。

局限与创新：研究首次证实增加"背景知识答案"可使准确率提升6%（p<0.05），但同时也暴露工作流分类在复杂问题中的缺陷——两类通用信息问题被全部误判为诊断类。

这项研究的意义在于建立了医学LLM评估的新范式：不再局限于答题正确率，而是通过RAGAS框架全面考察检索质量、回答相关性和证据追溯能力。研究者特别强调，尽管MedSearch表现出色，临床决策权仍应掌握在医生手中。未来需要更多均衡分布的医学QA数据集，以及医生参与的实时临床场景验证，才能真正释放AI辅助医疗的潜力。