语言模型驱动的成本感知序贯诊断:SDBench基准与DxO系统在CPC及MIMIC-IV-ED病例中的诊断准确性与检查成本评估

《SCIENCE》:Sequential diagnosis with language models

【字体: 大 中 小 】 时间:2026年10月25日 来源:SCIENCE 47.3

编辑推荐:

  研究人员探索了前沿语言模型(LMs)在序贯诊断中的能力;序贯诊断是一种捕捉临床推理迭代性质的诊断范式。给定简要临床表现,临床医师选择性获取信息以作出诊断,从而能够评估诊断准确性和检查成本。研究人员开发了一个交互式基准和一个模拟医师小组的人工智能(AI)系统,该

研究人员探索了前沿语言模型(LMs)在序贯诊断中的能力;序贯诊断是一种捕捉临床推理迭代性质的诊断范式。给定简要临床表现,临床医师选择性获取信息以作出诊断,从而能够评估诊断准确性和检查成本。研究人员开发了一个交互式基准和一个模拟医师小组的人工智能(AI)系统,该系统持续修正鉴别诊断并选择成本效益高的检查。使用该基准,该系统在《新英格兰医学杂志》临床病理讨论会(CPC)病例上达到83.2%的准确率,在MIMIC-IV-ED急诊科入院病例上达到80.3%,优于全科医师(分别为36.1%和46.8%)。尽管这些发现是在受控基准环境中获得的,但它们突显了语言模型支持更准确、更低成本诊断的前景。
临床诊断是序贯的信息收集与推理过程,而非对完整病例的一次性分析。医师从有限信息开始,形成初始鉴别诊断,选择问诊问题与检查项目,并权衡每项措施的预期诊断价值与其成本、患者负担和延迟;随着结果返回,医师持续修正鉴别诊断,并判断证据是否足以确定诊断或采取治疗行动,或是否需要进一步检查。现有语言模型评估多在医学执照考试和结构化诊断小故事中表现良好,但基准通常将主诉、现病史、查体发现和诊断检查结果打包为单一提示,把诊断压缩为一次推理步骤,因而无法测量系统是否提出正确问题、是否避免无差别检查、是否随证据累积更新鉴别诊断、是否识别出足以结束检查的确定性。这类静态基准可能高估诊断能力,并掩盖不适当检查或过早闭合等失败模式。为此,Nori et al. 开展了序贯诊断研究,构建序贯诊断基准(Sequential Diagnosis Benchmark,SDBench)与诊断编排器(Diagnostic Orchestrator,DxO),将304例《新英格兰医学杂志》临床病理讨论会(CPC)病例和325例MIMIC-IV-ED急诊至入院病例转化为交互式逐步诊疗任务。研究显示,DxO在受控文本基准中处于更高的成本-准确性Pareto前沿,优于参与的全科医师,但不证明其优于专科医师、多学科团队或真实临床实践;该研究发表于《SCIENCE》,其意义在于证明语言模型编排的迭代工作流可改善基准中的成本-准确性权衡,并为支持临床决策与医学教育提供证据。

关键技术方法(不超过250字):SDBench将304例CPC病例和325例MIMIC-IV-ED急诊至入院病例转为文本序贯交互;诊断代理可追问病史或查体、开具检查或提交最终诊断。Gatekeeper代理仅返回病例记录中临床可获得的信息,缺失时生成诊断中性合成结果;Judge代理依据五级医师评分标准和参考诊断判定,4或5分视为正确。检查成本按当前程序术语(CPT)基础定价及某大型医疗系统收费主表估算,问诊和查体计入固定医师访视成本。DxO为模型无关编排器,模拟互补临床专家角色,实施成本意识检查管理并聚合独立运行结果,与参与的全科、急诊和急性照护医师及基线LMs比较。

研究结果:
临床病理讨论会研究:在56例保留的CPC测试病例中,DxO结合GPT-5在无预算约束下达到83.2%准确率、平均成本5431美元;预算约束下分别为80.9%/2241美元和79.6%/1303美元,追求诊断卓越配置为84.5%/8945美元。参与医师闭卷和开卷平均准确率分别为22.3%和36.1%,平均成本分别为3049美元和4725美元;即使最高诊断准确率51.8%的医师也在准确性和成本上被超越。DxO在首项检查前平均提问25.5个问题,医师为5.6个,显示其先进行广泛结构化病史采集。结论是DxO建立新的Pareto前沿,并在各成本或准确性水平优于参与医师。
急诊医学研究:在ED病例中,DxO无预算约束达到80.3%准确率、平均成本4979美元;预算约束下为73.2%/2634美元和69.5%/2037美元。参与医师在ED病例平均准确率46.8%、平均检查成本3400美元,最佳个体医师为62.5%/3332美元(40例)。DxO较医师更倾向多提问、少开检查,尤其在预算约束下;其准确率在ED与CPC病例间相当,而医师在CPC罕见复杂病例中准确率明显下降。结论是DxO在更接近常规电子健康记录(EHR)来源的ED病例中保持优势与稳定性。
模型能力与错误研究:与多模型家族和尺寸的最小提示基线比较,DxO编排使CPC和ED病例诊断准确率分别平均提升7.9和4.4个百分点。研究人员用两个独立前沿LMs对失败进行分类并人工核验,发现DxO错误多为临床相邻但特异性层级错误的诊断,而非无关疾病;其优势集中于依赖更好问诊的罕见暴露和旅行相关感染。医师错误通常较AI错误更远离参考诊断。使用GPT-5.5在不修改提示或编排的情况下重复完整评估,DxO仍定义Pareto前沿,且相对基线提示的准确性优势增加,提示模型能力提升不一定削弱精细编排的收益。

讨论与结论:SDBench要求诊断代理决定问什么、测什么以及何时提交诊断,且每项决定均产生成本;DxO提高诊断准确性并降低累计检查成本,建立新的成本-准确性Pareto前沿,并在独立ED病例和新发布LMs中保持Pareto优势。DxO在诊断准确性上明显优于参与的全科医师,且常伴随更低累计检查成本;但CPC病例因教学价值而被选择,预期与匹配病例内容的专科医师或多学科专家团队比较时差距会缩小。讨论提出,部分优势可能来自前沿LMs训练暴露规模、跨罕见疾病与非典型表现及跨专科推理的广泛知识、较一致的召回和系统评估;模拟临床专家以不同推理目标协作、维持明确鉴别诊断、通过对抗性批评挑战主要假设并量化每项检查的边际诊断价值,有助于缓解锚定和过早闭合。真实临床实践优先避免漏诊和保障患者安全,医师很少拥有持续量化每项额外检查边际诊断价值与成本效益的正式决策支持工具。该基准抽象掉病史报告不确定性、文档不完整、医患沟通、纵向随访、时间约束、行政要求及情感伦理因素,因此其优势特指理想化信息条件下的信息收集与诊断准确性,而非完整临床推理、患者照护或医学判断。研究建议设计整合自动序贯诊断核心能力的临床医师-AI工作流,并用于交互式诊断挑战和病例模拟等教育应用。局限性包括仅纳入CPC与ED病理病例、病例组合与患病率不反映常规实践、文本“oracle”Gatekeeper而非EHR或多模态数据、缺少噪声不确定性与时间动态、与个体医师比较而非多学科协作、成本依赖美国标准化定价近似、Judge评分不评估治疗适当性、安全性和纵向管理质量。
研究结论(译文):更广泛地说,将诊断建模为序贯、成本感知的过程,而非一次性预测问题,为开发更贴近临床推理迭代性质、同时支持更透明、更经济且更协作的医学决策的人工智能系统提供了框架。随着模型能力日益增强,将结构化序贯推理与临床专业知识相结合的方法可能重塑人工智能支持诊断推理的方式,并具有改善全球医疗质量与可及性的潜力。

订阅生物通快讯

订阅快讯:

最新文章

限时促销

会展信息

关注订阅号/掌握最新资讯

今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

版权所有 生物通

Copyright© eBiotrade.com, All Rights Reserved

联系信箱:

粤ICP备09063491号